Devotd Github
新着推論・サービング

rustingstudio/rustingstrata v1.2.0 — CPU·GPU ハイブリッド推論エンジン

rustingstudio/rustingstrata は Qwen 系 GGUF モデルを実行する Rust 推論エンジンで、CPU·GPU ハイブリッド処理と CUDA・Vulkan のパスを提供する。

リポジトリ情報rustingstudio/rustingstrata ↗

rustingstudio/rustingstrata は Qwen 系 GGUF モデルを実行する Rust 推論エンジンで、CPU·GPU ハイブリッド処理と CUDA・Vulkan のパスを提供する。

GitHub の説明: Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp prefill and decode on a 12 GB RTX 3060.

スター
★ 93
フォーク
13
言語
Rust
ライセンス
NOASSERTION
最新リリース
v1.2.0
原文を見る ↗GitHub で見る ↗

rustingstudio/rustingstrata の最新リリースは v1.2.0 である。このリポジトリは Qwen 系 GGUF モデルを実行する純 Rust の推論エンジンであり、提供された記録には v1.2.0 で新規追加または変更された項目は示されていない。リポジトリの説明は、12 GB の RTX 3060 上で llama.cpp と比べてプリフィルとデコードの性能がそれぞれ 2 倍だと明言している。

このエンジンは、モデルのエキスパートモジュールが VRAM に収まらない場合に CPU と GPU でともに処理するハイブリッド実行方式を提供する。エキスパートモジュールは、混合エキスパート(Mixture-of-Experts, MoE)モデルで入力に応じて選択される計算部分である。実行パスは CUDA と Vulkan をサポートし、CUDA カーネルは NVRTC を利用して実行時にコンパイルされる。リポジトリの説明によると、推論サーバーは OpenAI 互換のチャット API とツール呼び出しもサポートしている。Reddit の r/Qwen_AI では、Qwen3.8-Flash-Next を基準に元の Strata よりデコードが 2 倍、プリフィルが 2.5 倍速いという主張が共有され、その投稿のスコアは 48 点、コメントは 51 件だった。

性能の数値はリポジトリの説明と Reddit の投稿で示された主張であり、比較の基準が異なるため、単一の実測結果として読むことはできない。README は測定条件と一部のハードウェア制約を公開すると要約されている。ライセンスフィールドは NOASSERTION で、提供された情報だけでは適用されるライセンスを確認できない。したがって、性能と利用条件は公開された範囲の中で判断すべきである。