Devotd Github
新发现推理与服务

rustingstudio/rustingstrata v1.2.0 — CPU·GPU 混合推理引擎

rustingstudio/rustingstrata 是一个运行 Qwen 系列 GGUF 模型的 Rust 推理引擎,提供 CPU·GPU 混合处理以及 CUDA·Vulkan 路径。

仓库信息rustingstudio/rustingstrata ↗

rustingstudio/rustingstrata 是一个运行 Qwen 系列 GGUF 模型的 Rust 推理引擎,提供 CPU·GPU 混合处理以及 CUDA·Vulkan 路径。

GitHub 项目说明: Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp prefill and decode on a 12 GB RTX 3060.

星标
★ 93
复刻
13
语言
Rust
许可证
NOASSERTION
最新版本
v1.2.0
查看原始来源 ↗在 GitHub 查看 ↗

rustingstudio/rustingstrata 的最新版本是 v1.2.0。该仓库是一个运行 Qwen 系列 GGUF 模型的纯 Rust 推理引擎,所提供的信息中没有列出 v1.2.0 新增或变更的内容。仓库说明称,在 12 GB RTX 3060 上,预填充与解码性能分别为 llama.cpp 的 2 倍。

该引擎提供混合执行方式:当模型的专家模块装不进显存时,在 CPU 与 GPU 上共同处理。专家模块是混合专家(Mixture-of-Experts,MoE)模型中根据输入选择的计算部分。执行路径支持 CUDA 和 Vulkan,CUDA 内核使用 NVRTC 在运行时编译。仓库说明称,其推理服务器还支持 OpenAI 兼容的聊天 API 和工具调用。在 Reddit 的 r/Qwen_AI 中,有人分享了一项说法:以 Qwen3.8-Flash-Next 为基准,相比原版 Strata,解码快 2 倍、预填充快 2.5 倍,该帖得分为 48 分,评论数为 51 条。

这些性能数字是仓库说明与 Reddit 帖子中提出的主张,所比较的基准各不相同,因此不能当作同一个测量结果来看。README 被概述为公开了测量条件与部分硬件限制。许可证字段为 NOASSERTION,仅凭所提供的信息无法确认适用的许可证。因此,性能与使用条件应在公开的范围内加以判断。