franzmoca/gufo

franzmoca/gufo는 Strix Halo에서 Gemma 4를 구동하도록 전용 연산 커널과 다중 토큰 예측을 추가한 C++ 분기판이다.

GitHub 설명: Strix Halo inference engine. Qwen Flash Next Q4_K_XL: 1,628.52pp, 59.41tg single user, 157.22 tok/s 8 users; Qwen27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2

스타

★ 9

포크

1

언어

C++

라이선스

MIT