Devotd Github
새 소식추론/서빙

asf0/libstrix — Strix Halo용 HIP 커널과 vLLM 플러그인

asf0/libstrix는 AMD Strix Halo용 HIP 커널을 upstream vLLM 플러그인으로 선택 적용하는 저장소다.

저장소 정보asf0/libstrix ↗

asf0/libstrix는 AMD Strix Halo용 HIP 커널을 upstream vLLM 플러그인으로 선택 적용하는 저장소다.

GitHub 설명: HIP kernels for AMD Strix Halo (gfx1151) and a vLLM plugin that runs them on stock upstream vLLM: up to 31x faster prefill and ~2x decode at long context.

스타
★ 3
포크
0
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

asf0/libstrix는 AMD Strix Halo(gfx1151, Radeon 8060S)용 HIP 커널과 이를 upstream vLLM에서 사용하는 플러그인을 제공한다. vLLM 소스를 수정하지 않고 플러그인으로 커널을 적용하며, 다른 그래픽 장치에서는 활성화되지 않는다. 저장소 설명은 긴 컨텍스트에서 prefill은 최대 31배, decode는 약 2배 빠르다고 밝힌다.

커널은 각각 하나의 연산 형상(geometry)에 맞춰 컴파일된다. strix.select 호출은 커널이 지원하는 형상을 확인하는 기능이며, 입력 형상이나 자료형 조건이 맞지 않으면 해당 커널을 쓰지 않고 vLLM 기본 경로를 사용한다. 따라서 모든 입력에 커널을 적용하는 방식이 아니라, 지원 조건에 맞는 경우만 선택하는 구조다. README에는 커널 등록표와 선택 기능, 시험 코드 및 벤치마크 구성이 안내돼 있다. 저장소의 주 구현 언어는 Python이고 라이선스는 MIT다.

제시된 성능 수치는 저장소 자체 자료만으로 독립 재현되지 않았으므로, 실제 성능의 근거로 단정하기 어렵다. 적용 대상도 Strix Halo와 지원 형상 및 자료형 조건으로 한정된다. 따라서 성능 주장은 검증이 더 필요한 저장소 측 결과로 보고, 적용 범위가 좁다는 점을 함께 고려해야 한다.