github.devotd.
새 소식추론/서빙

warpfront/hipfire v0.4.2.1 — AMD GPU용 Rust 추론 엔진

AMD GPU 로컬 추론 엔진 warpfront/hipfire의 구조와 README에 기록된 v0.4.2 성능 변경, 측정 한계를 살펴본다.

저장소 정보warpfront/hipfire ↗

RDNA-native LLM inference engine in Rust.

스타
★ 690
포크
87
언어
Rust
라이선스
NOASSERTION
최신 릴리스
v0.4.2.1
원문 보기 ↗GitHub에서 보기 ↗

warpfront/hipfire는 AMD GPU에서 LLM을 실행하는 Rust 기반 로컬 추론 엔진이다. 최신 릴리스는 v0.4.2.1이지만, 확인 가능한 자료에는 이 버전의 변경 내역이 없다. README에 기록된 v0.4.2 업데이트는 2x R9700에서 EP2 프리필 성능을 8K 기준 3,033에서 3,943 tok/s로, 16K 기준 3,754에서 4,308 tok/s로 높였다는 내용이다. 이는 v0.4.2의 기록이며 v0.4.2.1의 변경으로 볼 수는 없다.

엔진은 Rust와 HIP로 구성되며 핫 패스에 Python, PyTorch, CUDA 변환 계층, 서드파티 추론 엔진을 두지 않는다. ROCm은 동적으로 불러온다. 자체 런타임과 모델 구현, MQ3~MQ6·MQ4R·MFP4 양자화 형식, HIP 커널을 포함하고, DFlash 초안 모델이나 네이티브 MTP 헤드를 활용하는 투기 디코딩과 다중 GPU 전문가 병렬화도 지원한다. AMD GPU 로컬 추론에 맞춘 독자 구현이라는 점이 핵심이다.

다만 README는 성능 수치가 단일 픽스처 측정치여서 일반 처리량을 뜻하지 않는다고 밝힌다. 샘플링 MTP는 실행 프로세스마다 토큰 흐름이 달라 재현되지 않는 알려진 문제도 있다. Qwen3.8-Flash의 기본 가중치는 약 125GB로 안내돼 32GB 카드만으로는 부족하다. 제시된 측정과 모델 실행 조건은 R9700, Strix Halo 등 특정 하드웨어에 연결돼 있어, 범용 성능을 입증한 자료로 해석하기 어렵다.