github.devotd.
새 소식추론/서빙

shawnshekari/strixite v0.3.1 — Strix Halo용 HIP 추론 엔진

shawnshekari/strixite는 AMD Strix Halo와 Qwen3.8-Flash-Next에 맞춘 HIP 기반 LLM 추론 엔진이다.

저장소 정보shawnshekari/strixite ↗

LLM inference engine written from scratch in HIP for AMD Strix Halo (gfx1151) and Qwen3.8-Flash-Next - ~50 tokens/s out to 492k context

스타
★ 56
포크
7
언어
C++
라이선스
AGPL-3.0
최신 릴리스
v0.3.1
원문 보기 ↗GitHub에서 보기 ↗

shawnshekari/strixite는 AMD Strix Halo(gfx1151)에서 Qwen3.8-Flash-Next를 실행하도록 만든 HIP 기반 LLM 추론 엔진이다. 최신 릴리스는 v0.3.1이며, 제공된 정보에는 이 버전에서 바뀐 항목이 적혀 있지 않다. 저장소 설명은 약 50토큰/초로 492k 컨텍스트까지 동작한다고 밝힌다. llama.cpp나 ggml에 기대지 않고 HIP로 처음부터 작성했으며, 커널을 직접 구현했다고 README에서 설명한다. 이는 범용 엔진을 넓게 지원하기보다 AMD Strix Halo와 특정 모델 조합에 맞춘 접근이다.

이 엔진은 긴 문맥을 유지하며 모델 응답을 생성하는 로컬 추론을 겨냥한다. README에 따르면 128GB 메모리의 Strix Halo 한 대에서 512k 컨텍스트를 지원하고, 프롬프트 처리 속도는 초당 1,370토큰이다. RAM·디스크 프롬프트 캐시와 최대 7토큰을 한 번에 검사하는 멀티토큰 예측도 지원한다고 적었다. C++로 작성됐고 AGPL-3.0 라이선스이며, 저장소는 56개의 스타를 기록한다. README는 512개 전문가를 둔 MoE 구조와 SSD에서 읽는 51B 파라미터 n-gram 테이블도 언급한다.

다만 성능 수치는 저장소가 제시한 자체 주장이고, 공개된 측정 스크립트나 벤치마크 결과 파일은 없다. README의 terminal-bench-mini 코어 스위트 19/19 기록만으로는 492k 문맥에서의 속도를 재현하거나 다른 환경에 일반화하기 어렵다. 따라서 v0.3.1의 구체적인 변경과 성능의 독립 검증은 제공된 정보만으로 확인되지 않으며, 특정 하드웨어와 모델 조합을 위한 실험적 엔진으로 보는 편이 타당하다.