yamz-labs/kyojin

yamz-labs/kyojin 1.8.5 は、リカレントキャッシュのアンカーポリシーでセッション復帰を改善し、Strix Halo iGPU のデコードカーネルに手を入れた。

GitHub の説明: Kyojin: the Yamz inference engine for AMD Strix Halo (ROCm, gfx1151), built on ExLlamaV3. Runs 300B-class MoE models on one 128 GB mini PC.

スター

★ 174

フォーク

23

言語

Python

ライセンス

MIT

最新リリース

v1.5.8