하드웨어 특화 엔진
특정 비Apple 가속기나 하드웨어 아키텍처 전용인 완전한 로컬 추론 엔진 또는 성능 최적화 포크입니다. 독립 커널, 프로덕션 서빙, 자원 제약 기기 런타임, Apple 전용 엔진 및 해당 하드웨어를 단순 지원하는 이식 가능한 엔진은 제외합니다.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| syv-ai/hyperqwen | 대형 Qwen 모델을 단일 24GB CUDA GPU에서 빠르게 서빙하도록 vLLM을 패치하고 최적화합니다. | ★ 2.1K | Python | Apache-2.0 | — |
| fesens/opentpu | Qwen 계열 모델을 Kintex-7 PCIe 카드에서 실행하는 하드웨어 가속 스택입니다. | ★ 766 | Verilog | Apache-2.0 | — |
| warpfront/hipfire | AMD RDNA GPU용 Rust 기반 완전한 로컬 LLM 추론 엔진입니다. | ★ 692 | Rust | NOASSERTION | v0.4.2.1 |
| indras-mirror/xolotl | RTX 4090 한 대에서 VRAM·RAM·NVMe에 MoE expert를 계층 배치해 초대형 언어 모델을 실행합니다. | ★ 81 | C++ | MIT | — |
| jesdga95/basalt | NVIDIA Blackwell용 Qwen MoE 모델을 로컬에서 추론하는 엔진입니다. | ★ 72 | C++ | MIT | — |
| professorpalmer/bonsai-ada-surgery | RTX 4070에서 q8_0 KV로 262K 컨텍스트의 Bonsai 2 27B를 구동하는 PrismML llama.cpp 포크입니다. | ★ 70 | Python | NOASSERTION | bundle-20261017b |
| lateos-ai/reflex | CUDA에서 GGUF 모델을 실행해 실시간 에이전트 의사결정을 지원하는 Rust 기반 추론 엔진입니다. | ★ 62 | Rust | MIT | v0.2.9-runpod-hub |
| shawnshekari/strixite | AMD Strix Halo gfx1151과 Qwen3.8-Flash-Next에 맞춘 HIP 기반 로컬 추론 엔진입니다. | ★ 60 | C++ | AGPL-3.0 | v0.3.1 |
| valeriodolci/capy-flash | Qwen MoE 모델을 RTX 5070 Ti 두 대에서 NVFP4·텐서 병렬로 실행합니다. | ★ 44 | C++ | Apache-2.0 | v0.5.4 |
| hardenedlinux/sonicboom | C++와 CUDA로 양자화 GGUF 모델을 로컬 실행하는 네이티브 텐서 런타임입니다. | ★ 5 | C++ | GPL-3.0 | — |
| cosmonomic/pulsarlm | 오래된 저중요 토큰을 제거해 지속형 챗봇과 에이전트의 컨텍스트를 작게 유지하는 LLM 추론 엔진이다. | ★ 4 | C++ | Apache-2.0 | — |