yamz-labs/kyojin

yamz-labs/kyojin 1.8.5 通过循环缓存锚点策略改进了会话回归，并处理了 Strix Halo iGPU 解码内核。

GitHub 项目说明: Kyojin: the Yamz inference engine for AMD Strix Halo (ROCm, gfx1151), built on ExLlamaV3. Runs 300B-class MoE models on one 128 GB mini PC.

星标

★ 174

复刻

23

语言

Python

许可证

MIT

最新版本

v1.5.8