Devotd Github
새 소식추론/서빙

nathanw1014/strix-halo-llamacpp v0.8.0 — Strix Halo용 llama.cpp 빌드

AMD Strix Halo용 llama.cpp에 플래시 어텐션과 MoE 사전 입력 수정을 적용하고 Mesa 드라이버를 묶은 저장소다.

저장소 정보nathanw1014/strix-halo-llamacpp ↗

AMD Strix Halo용 llama.cpp에 플래시 어텐션과 MoE 사전 입력 수정을 적용하고 Mesa 드라이버를 묶은 저장소다.

GitHub 설명: Performance-tuned llama.cpp for AMD Strix Halo (gfx1151): FA + MoE-prefill fixes with a bundled current Mesa driver. Vulkan and HIP; portable dir, Docker, and distrobox.

스타
★ 221
포크
20
언어
Python
라이선스
NOASSERTION
최신 릴리스
v0.8.0
원문 보기 ↗GitHub에서 보기 ↗

nathanw1014/strix-halo-llamacpp는 AMD Strix Halo(gfx1151)에 맞춰 성능을 조정한 llama.cpp 빌드다. 저장소의 최신 릴리스는 v0.8.0이다. 저장소 설명과 README에 따르면 플래시 어텐션(FA)과 혼합 전문가 모델(MoE)의 사전 입력 경로를 수정하고, 현재 Mesa 드라이버를 함께 제공한다. Vulkan과 HIP 경로를 다루며, 이식 가능한 디렉터리와 Docker, distrobox 방식도 마련되어 있다.

이 저장소의 목적은 Strix Halo에서 llama.cpp를 구동할 때 필요한 빌드와 수정 사항을 한데 제공하는 것이다. README는 같은 장비와 세션에서 상류 기준 빌드와 자체 빌드를 비교한 측정값 및 원시 결과 경로를 설명한다. 깊은 문맥에서의 사전 입력과 양자화 캐시 동작도 구분해 다룬다. 따라서 제시된 자료로는 특정 구성에서 어떤 비교가 이뤄졌는지 살펴볼 수 있다.

다만 README의 성능 수치는 특정 빌드와 설정에서 재현한 결과이며, 일반적인 성능 보장은 아니다. 다른 GPU나 구성에서도 같은 결과가 나온다는 근거는 주어지지 않았다. 라이선스 표기는 NOASSERTION이다. 이 저장소는 Strix Halo를 대상으로 한 구체적인 빌드 선택지지만, 성능을 보편화할 근거까지 제공하지는 않는다.