rustingstudio/rustingstrata 的最新版本是 v1.2.0。该仓库是一个运行 Qwen 系列 GGUF 模型的纯 Rust 推理引擎,所提供的信息中没有列出 v1.2.0 新增或变更的内容。仓库说明称,在 12 GB RTX 3060 上,预填充与解码性能分别为 llama.cpp 的 2 倍。
该引擎提供混合执行方式:当模型的专家模块装不进显存时,在 CPU 与 GPU 上共同处理。专家模块是混合专家(Mixture-of-Experts,MoE)模型中根据输入选择的计算部分。执行路径支持 CUDA 和 Vulkan,CUDA 内核使用 NVRTC 在运行时编译。仓库说明称,其推理服务器还支持 OpenAI 兼容的聊天 API 和工具调用。在 Reddit 的 r/Qwen_AI 中,有人分享了一项说法:以 Qwen3.8-Flash-Next 为基准,相比原版 Strata,解码快 2 倍、预填充快 2.5 倍,该帖得分为 48 分,评论数为 51 条。
这些性能数字是仓库说明与 Reddit 帖子中提出的主张,所比较的基准各不相同,因此不能当作同一个测量结果来看。README 被概述为公开了测量条件与部分硬件限制。许可证字段为 NOASSERTION,仅凭所提供的信息无法确认适用的许可证。因此,性能与使用条件应在公开的范围内加以判断。