github.devotd.
새 소식추론/서빙

peonist-ai/halogen-flash-server — Strix Halo 전용 추론 서버

peonist-ai/halogen-flash-server는 AMD Strix Halo 전용 커널로 Qwen3.8-Flash-Next를 실행하는 추론 서버로, 0.7.0부터 llama.cpp GGUF를 읽는다.

저장소 정보peonist-ai/halogen-flash-server ↗

peonist-ai/halogen-flash-server는 AMD Strix Halo 전용 커널로 Qwen3.8-Flash-Next를 실행하는 추론 서버로, 0.7.0부터 llama.cpp GGUF를 읽는다.

GitHub 설명: The fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)

스타
★ 1K
포크
82
언어
Shell
라이선스
NOASSERTION
원문 보기 ↗GitHub에서 보기 ↗

peonist-ai/halogen-flash-server는 AMD Strix Halo(gfx1151) 그래픽 장치에서 Qwen3.8-Flash-Next를 실행하는 추론 서버다. 범용 런타임 대신 이 GPU와 모델 계열에 맞춘 커널을 직접 짰고, 폴백 경로는 두지 않았다. 문서에는 0.7.0부터 llama.cpp GGUF를 그대로 읽는다고 적혀 있다. GitHub가 표시하는 주 언어는 Shell이고 별은 1043개다. 저장소는 2026년 8월 26일 생성됐다.

설계 대상은 에이전트의 긴 대화 문맥과 요청 왕복 지연이다. 저장소는 코딩 에이전트 한 턴에서 첫 토큰까지 1.6초, decode(답을 한 토큰씩 만들어 내는 단계)는 최대 94 tok/s라고 제시한다. prefill(긴 입력 문맥을 한 번에 처리하는 단계)은 131K 토큰에서도 32K의 96% 수준이라고 밝힌다. 각 수치에는 측정 조건이 함께 적혀 있고, 재현 절차도 안내한다. OpenAI 호환 주소를 제공해 에이전트를 붙일 수 있고, 설정·세션·이미지 입력·양자화 관련 문서를 갖췄다.

다만 성능 수치는 저장소가 제시한 자체 측정치이고, 별도의 검증 근거는 붙어 있지 않다. CPU용 일반 실행 경로나 다른 칩을 위한 이식 계층을 두지 않으므로, 다른 GPU나 다른 모델에서 같은 결과를 기대할 근거는 없다. 라이선스 표시는 확인되지 않는다. 이미 Strix Halo와 Qwen3.8-Flash-Next 계열을 확보한 환경에서만 의미가 있는 저장소로 보인다.