Devotd Github
새 소식추론/서빙

mikealanni/gufo — AMD Strix Halo용 GPU·NPU 추론 엔진

mikealanni/gufo는 AMD Strix Halo에서 GPU와 XDNA2 NPU를 함께 활용하는 로컬 추론 엔진이다.

저장소 정보mikealanni/gufo ↗

mikealanni/gufo는 AMD Strix Halo에서 GPU와 XDNA2 NPU를 함께 활용하는 로컬 추론 엔진이다.

GitHub 설명: GPU + XDNA2 NPU inference for AMD Strix Halo (gfx1151): Qwen3.6-35B-A3B, Qwen3.8-27B and Qwen3.8 Flash-Next. NPU prefill +9% to +28%, MTP / DFlash2 / auto speculative decoding up to 159 tok/s on structured text.

스타
★ 67
포크
7
언어
C++
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

mikealanni/gufo는 AMD Strix Halo(gfx1151)에서 GPU와 XDNA2 NPU를 함께 쓰는 로컬 추론 엔진이다. 프롬프트 처리 일부를 두 장치에 나누고, 다음 토큰을 미리 생성해 확인하는 추측 디코딩(speculative decoding)을 지원한다. 저장소 설명에는 Qwen3.6-35B-A3B, Qwen3.8-27B와 Qwen3.8 Flash-Next가 명시돼 있다. C++로 작성됐으며 MIT 라이선스를 사용한다.

이 프로젝트의 특징은 그래픽 처리 장치와 NPU를 함께 활용해 프롬프트 처리와 토큰 생성을 가속하려는 데 있다. README 요약은 NPU를 이용한 프리필 가속이 선택 사항이며, MTP·DFlash2·자동 선택 방식의 추측 디코딩을 제공한다고 설명한다. 프로젝트에 기록된 결과로는 NPU 프리필 속도 향상 폭이 9%에서 28%이며, 구조화된 텍스트의 추측 디코딩 속도는 최대 159 tok/s다. 별도로 Laguna S 2.1(118B MoE) 지원과 1,145에서 1,277 tok/s로의 프리필 변화, DFlash 드래프터 사용 시 44~45 tok/s가 소개돼 있다. 모델별 실행 경로와 품질 영향, 측정 방법도 문서화돼 있다.

이 수치는 AMD Strix Halo 환경 및 구조화된 텍스트처럼 명시된 조건에 한정해 읽어야 하며, 다른 하드웨어나 작업에서도 같은 속도가 나온다고 볼 근거는 주어진 자료에 없다. 등록된 최신 릴리스 정보도 없다. 따라서 이 기록은 해당 장치에서의 구현과 측정 결과를 보여주지만, 범용적인 성능 비교로 확대하기에는 범위가 좁다.