Devotd Github
새 소식추론/서빙

jchen-318/gaudi2-single-card-strata — Gaudi2 단일 카드 추론

jchen-318/gaudi2-single-card-strata는 Intel Gaudi2 한 대에서 Qwen3.8-Flash-Next를 구동하는 네이티브 추론 엔진 저장소다.

저장소 정보jchen-318/gaudi2-single-card-strata ↗

jchen-318/gaudi2-single-card-strata는 Intel Gaudi2 한 대에서 Qwen3.8-Flash-Next를 구동하는 네이티브 추론 엔진 저장소다.

GitHub 설명: Qwen3.8-Flash-Next (512-expert MoE, 256k context) on a single Intel Gaudi2: native SynapseAI + custom TPC kernels, DFlash2 speculative decoding, OpenAI/Anthropic-compatible API, Docker. 单卡 Gaudi2 原生推理,decode ~155 tok/s,prefill ~3.5k tok/s。

스타
★ 6
포크
2
언어
C++
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

jchen-318/gaudi2-single-card-strata는 Intel Gaudi2 한 대에서 Qwen3.8-Flash-Next를 네이티브로 구동하는 추론 엔진 저장소다. Strata를 바탕으로 한 프로젝트이며, FACTS에 기록된 생성일은 2026년 10월 21일이다. 최신 릴리스 정보는 없다. 모델 층을 SynapseAI 그래프로 컴파일해 Gaudi2의 MME와 TPC에서 실행하며, 직접 작성한 TPC 커널을 백여 개 포함한다. 코드는 C++이고 라이선스는 MIT다.

이 저장소의 목적은 단일 Gaudi2 카드에서 Qwen3.8-Flash-Next 추론을 수행하는 것이다. 대상 모델은 512-expert MoE 구조와 256k 컨텍스트를 갖는다. README는 DFlash2 추측 디코딩과 OpenAI·Anthropic 호환 API를 설명한다. Docker 구성과 CMake 빌드, 단위 테스트 및 하드웨어 시험 절차도 제공한다. README에 기재된 성능은 decode ~155 tok/s, prefill ~3.5k tok/s다.

성능 수치는 저장소 작성자가 특정 장비와 단일 요청 조건에서 측정한 값이므로 다른 환경의 성능을 보여주는 비교 자료는 아니다. README에 따르면 지원하는 모델 구조는 한 종류이며, 여러 요청도 한 번에 하나씩 처리한다. 따라서 이 기록이 보여주는 범위는 Gaudi2 한 대에서 해당 모델을 구동하는 구현까지다.