rustingstudio/rustingstrata

rustingstudio/rustingstrata は Qwen 系 GGUF モデルを実行する Rust 推論エンジンで、CPU·GPU ハイブリッド処理と CUDA・Vulkan のパスを提供する。

GitHub の説明: Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp prefill and decode on a 12 GB RTX 3060.

スター

★ 93

フォーク

13

言語

Rust

ライセンス

NOASSERTION

最新リリース

v1.2.0