github.devotd.
릴리스추론/서빙

shawnshekari/strixite v0.4.0 — 8비트 KV 캐시 기본값 적용

shawnshekari/strixite v0.4.0은 8비트 KV 캐시를 기본값으로 올리고 긴 대화의 캐시 재읽기와 이미지 반복 디코딩 문제를 수정했다.

저장소 정보shawnshekari/strixite ↗

LLM inference engine written from scratch in HIP for AMD Strix Halo (gfx1151) and Qwen3.8-Flash-Next - ~50 tokens/s out to 492k context

스타
★ 61
포크
7
언어
C++
라이선스
AGPL-3.0
최신 릴리스
v0.4.0
원문 보기 ↗GitHub에서 보기 ↗

shawnshekari/strixite v0.4.0은 AMD Strix Halo(gfx1151)와 Qwen3.8-Flash-Next를 위한 HIP 기반 추론 엔진의 업데이트다. GitHub 릴리스 설명에 따르면 이번 버전은 8비트 KV 캐시를 기본값으로 올렸다. 긴 대화에서 프롬프트 캐시가 매 턴 대화를 다시 읽던 문제와 같은 이미지를 반복해서 디코딩하던 문제도 수정했다.

릴리스 설명은 512k 문맥에서 한 대화 상태의 메모리가 13.5 GiB에서 8.3 GiB로 줄고, GPU 버퍼가 95.3 GiB에서 91.9 GiB로 감소했다고 밝힌다. 프롬프트 캐시에 저장된 대화는 약 40% 작아진다. 같은 이미지 20장을 디코딩하는 시간은 1.76초에서 0.07초로 줄었다. 프리필은 3% 빨라졌으며 decode 속도는 오차 범위에서 그대로라고 설명한다. 저장소 설명에는 최대 492k 문맥에서 초당 약 50토큰을 낸다고 적혀 있다.

이 수치와 변경 내용은 GitHub의 v0.4.0 릴리스 설명에 제시된 것이며, 제공된 정보에는 측정 환경이나 응답 품질에 미치는 영향이 명시돼 있지 않다. 저장소 설명의 처리 속도도 측정 조건은 주어지지 않았다. 따라서 메모리와 이미지 디코딩 개선은 릴리스가 보고한 결과로 읽을 수 있지만, 품질 변화나 다른 환경에서의 성능까지 이 정보만으로 판단하기는 어렵다.

같은 분야의 다른 프로젝트

로컬 추론 엔진 ↗