rustingstudio/rustingstrata

rustingstudio/rustingstrata는 Qwen 계열 GGUF 모델을 실행하는 Rust 추론 엔진으로, CPU·GPU 혼합 처리와 CUDA·Vulkan 경로를 제공한다.

GitHub 설명: Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp prefill and decode on a 12 GB RTX 3060.

스타

★ 93

포크

13

언어

Rust

라이선스

NOASSERTION

최신 릴리스

v1.2.0