Devotd Github
새 소식추론/서빙

dylanatl15/engine-lab — 단일 Radeon VII용 llama.cpp 패치

dylanatl15/engine-lab은 llama.cpp 패치와 실행 도구, 측정 기록을 통해 단일 16GB Radeon VII에서 대형 혼합 전문가 모델을 실행하는 방법을 정리한 저장소다.

저장소 정보dylanatl15/engine-lab ↗

dylanatl15/engine-lab은 llama.cpp 패치와 실행 도구, 측정 기록을 통해 단일 16GB Radeon VII에서 대형 혼합 전문가 모델을 실행하는 방법을 정리한 저장소다.

GitHub 설명: Run a 125B-class MoE (Qwen3.8-Flash-Next) at ~27 t/s on ONE 16 GB Radeon VII: expert-cache patches, benchmarks, profiling notes and dead ends

스타
★ 0
포크
0
언어
C++
라이선스
NOASSERTION
원문 보기 ↗GitHub에서 보기 ↗

dylanatl15/engine-lab은 새 추론 엔진이 아니라 기존 llama.cpp에 적용하는 패치 모음이다. 공개된 최신 릴리스와 버전 정보는 없다. 저장소 설명은 혼합 전문가 모델(MoE) Qwen3.8-Flash-Next를 단일 16GB Radeon VII에서 약 27 t/s로 실행한다고 밝힌다. README에는 모델 가중치를 주 메모리에 두고 자주 쓰는 전문가를 그래픽 메모리에 캐시하는 방식과 관련 실험이 정리돼 있다.

이 저장소는 성능 저하 원인을 연산 부족보다 가중치 배치 문제에서 찾고, 캐시와 데이터 전송을 개선하는 패치를 다룬다. 고정 버퍼 전송, 병렬 복사, 사전 페이지 적재를 비롯해 별도 커널 결합과 실행 배치 변경도 비교한다. 실행 도구와 시험 장치, 측정 기록 및 실패 사례를 함께 제공해 llama.cpp를 특정 환경에 맞게 수정하는 과정을 보여준다. 새로운 엔진을 제공하기보다 기존 코드의 실행 경로를 실험하는 자료에 가깝다.

성능 수치는 특정 그래픽카드와 구성에서 얻은 결과다. 저장소 설명은 약 27 t/s를 제시하지만, 조사 기록에는 초당 24토큰까지라는 값이 있어 수치가 일치하지 않는다. 따라서 다른 하드웨어의 성능 기준으로 일반화하기 어렵다. 라이선스는 NOASSERTION으로 표시돼 확인되지 않으며, 공개 릴리스도 없다. 현재로서는 범용 배포물보다 재현 조건을 살펴야 하는 실험 기록으로 보는 편이 타당하다.