Devotd Github
새 소식추론/서빙

franzmoca/gufo — Strix Halo용 로컬 추론 엔진

franzmoca/gufo는 Strix Halo에서 Gemma 4를 구동하도록 전용 연산 커널과 다중 토큰 예측을 추가한 C++ 분기판이다.

저장소 정보franzmoca/gufo ↗

franzmoca/gufo는 Strix Halo에서 Gemma 4를 구동하도록 전용 연산 커널과 다중 토큰 예측을 추가한 C++ 분기판이다.

GitHub 설명: Strix Halo inference engine. Qwen Flash Next Q4_K_XL: 1,628.52pp, 59.41tg single user, 157.22 tok/s 8 users; Qwen27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2

스타
★ 9
포크
1
언어
C++
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

franzmoca/gufo는 Linux의 Strix Halo 하드웨어에서 로컬 모델을 실행하는 추론 엔진이다. 이 저장소는 Gufo를 바탕으로 Gemma 4를 구동하도록 확장한 분기판이며, Gemma 4 전용 연산 커널과 다중 토큰 예측을 추가했다. 이미지 입력과 도구 호출도 지원한다고 저장소는 설명한다. 공개 릴리스 버전은 FACTS에 주어져 있지 않다.

이 프로젝트의 핵심은 범용 추론 엔진이 아니라 Strix Halo에 맞춘 모델 실행 경로다. 다중 토큰 예측은 다음에 나올 토큰을 여러 개 예측하는 기능으로, 저장소는 이를 처리량 향상에 활용한다고 설명한다. 모델별 문서에는 성능 측정과 품질 보고서가 연결되어 있다. 저장소에 기재된 수치로는 Qwen Flash Next Q4_K_XL의 8인 사용 처리량이 157.22 tok/s이며, Qwen27B Q4_K_XL은 DFlash2를 사용한 단일 사용자 조건에서 70.56 tok/s다. 주 언어는 C++이고 라이선스는 MIT다.

이 수치는 특정 모델과 Strix Halo 환경에 대한 기록이므로 다른 하드웨어나 모델의 성능으로 일반화할 수 없다. 지원 대상도 Linux의 Strix Halo로 한정된다. 저장소는 상위 저장소를 주기적으로 병합한다고 밝히므로, 이 분기판을 검토할 때는 해당 하드웨어 제한과 상위 저장소와의 관계를 함께 고려해야 한다.