franzmoca/gufo

franzmoca/gufo は、Strix Halo で Gemma 4 を動かすために専用計算カーネルと複数トークン予測を追加した C++ のフォークである。

GitHub の説明: Strix Halo inference engine. Qwen Flash Next Q4_K_XL: 1,628.52pp, 59.41tg single user, 157.22 tok/s 8 users; Qwen27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2

スター

★ 9

フォーク

1

言語

C++

ライセンス

MIT