Devotd Github
새 소식추론/서빙

jaedync/crucible-strix-halo — Strix Halo용 EXL3 추론 엔진

AMD Strix Halo 시스템에서 Qwen3.8-Flash-Next의 EXL3 체크포인트를 실행하는 연구용 추론 엔진이다.

저장소 정보jaedync/crucible-strix-halo ↗

AMD Strix Halo 시스템에서 Qwen3.8-Flash-Next의 EXL3 체크포인트를 실행하는 연구용 추론 엔진이다.

GitHub 설명: EXL3 inference engine for Qwen3.8-Flash-Next on AMD Strix Halo: Ryzen AI Max+ 395, Radeon 8060S, gfx1151, ROCm/HIP in C++20. Exact speculative decoding, OpenAI-compatible server, and speed claims stated against measured hardware ceilings.

스타
★ 5
포크
0
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

jaedync/crucible-strix-halo은 AMD Strix Halo 시스템에서 Qwen3.8-Flash-Next의 EXL3 체크포인트를 실행하는 추론 엔진이다. 대상은 Ryzen AI Max+ 395 APU와 Radeon 8060S 그래픽이다. 공개된 릴리스 버전은 없다. README에는 성능 측정 표와 측정 방법, 재현 조건이 함께 공개돼 있다.

이 저장소는 다른 추론 엔진을 감싸는 대신 C++20으로 작성한 자체 ROCm/HIP 커널을 사용한다. 로컬 OpenAI 호환 서버에서 대화와 스트리밍 응답, 함수 호출을 제공하며 정확한 추측 디코딩도 지원한다고 설명한다. 추측 디코딩은 다음 토큰을 미리 예측한 뒤 결과를 검증해 생성하는 방식이다. README에는 문맥 길이와 모델 압축률에 따른 처리량 표, 여러 세션을 동시에 실행한 결과가 실려 있다. 라이선스는 Apache-2.0이다.

다만 이 엔진의 대상은 Ryzen AI Max+ 395와 Radeon 8060S를 포함한 특정 GPU 구조에 한정된다. 작성자도 범용 백엔드나 운영 서비스가 아닌 연구용 소프트웨어로 규정한다. 처리량 수치는 작성자가 공개한 측정 결과이므로 다른 환경이나 엔진의 성능을 대표하지 않는다. 따라서 범용 추론 도구라기보다 해당 하드웨어를 위한 구현과 측정 자료로 보는 편이 정확하다.