rustingstudio/rustingstrata

rustingstudio/rustingstrata 是一个运行 Qwen 系列 GGUF 模型的 Rust 推理引擎，提供 CPU·GPU 混合处理以及 CUDA·Vulkan 路径。

GitHub 项目说明: Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp prefill and decode on a 12 GB RTX 3060.

星标

★ 93

复刻

13

语言

Rust

许可证

NOASSERTION

最新版本

v1.2.0