Devotd Github
新着推論・サービング

hongfaqiu/strata-manager v0.2.41 — 量子化7種とQwen3.6のスロット計算

Strata Manager v0.2.41は、Strata 0.2.11のUnsloth Dynamic v3.1量子化7種と、Qwen3.6のスロット計算・オプション処理を取り込んだ。

リポジトリ情報hongfaqiu/strata-manager ↗

Strata Manager v0.2.41は、Strata 0.2.11のUnsloth Dynamic v3.1量子化7種と、Qwen3.6のスロット計算・オプション処理を取り込んだ。

GitHub の説明: Strata Manager makes Niko1221/Strata, the local LLM inference engine, easier to set up and use. Manage local models and services, monitor hardware and API usage, chat and tune inference. Open-source desktop app for Windows / Linux x64.

スター
★ 16
フォーク
0
言語
Rust
ライセンス
MIT
最新リリース
v0.1.11
原文を見る ↗GitHub で見る ↗

hongfaqiu/strata-managerがv0.2.41をリリースした。Strata Managerは、Niko1221/StrataローカルLLM推論エンジンのモデルとサービスを管理し、ハードウェアとAPI使用量を確認し、チャットと推論チューニングを提供するWindows/Linux x64のオープンソースデスクトップアプリである。コミット6bbb0791は2026-11-05に記録され、10個のファイルで20行の追加と14行の削除が行われた。

このバージョンの機能の中核は推論エンジン0.2.11に合わせた量子化(quantization)サポートである。量子化は重みをより低い精度の数値に置き換えてメモリ使用量を削減する方法で、Unsloth Dynamic v3.1の7つのセットUD-IQ1_M、UD-Q2_0、UD-IQ2_XS、UD-Q2_K_XL、UD-IQ3_XXS、UD-Q3_K_XL、UD-IQ4_XS-v31が一覧に追加され、エンジン0.1.57以上が必要となる。UD-IQ4_XS-v31は既存の3分割のUD-IQ4_XSとは別に扱い、ハブのファイル名は依然としてUD-IQ4_XSであるため、4分割かどうかで区別する。同じグループの最後の分割である約28.8 GBのn-gramテーブルがすでに取得済みであれば内容を基準に再利用し、取得時にはハードリンクと.doneファイルを残すようにし、ディスクを重複して占有しないようにした。

Qwen3.6側の調整は2つである。並列スロット数をFlash-Nextのスロット当たりVRAM値で再計算するのではなく、上流が計算したown_path_parallel_slot_gbを使う。128Kコンテキスト基準でスロット当たり約5.56 GiBであり、上流PR #5239が根拠となる。また、Qwen3.6アーキテクチャは現在--vram-reserve-mib引数を無視しているが、上流#5216がマージされれば引数は拒否されるため、このオプションは以後渡さず、チューニング画面やワンクリック加速でも案内しない。

ただし、このコミット自体はCargo.toml、Cargo.lock、package.json、tauri.conf.jsonのバージョン文字列を0.2.40から0.2.41に上げ、未リリースだった変更をCHANGELOGの2026-11-05のエントリへ移した内容である。性能測定値は提示されておらず、スクリーンショットマニフェストも実際のモデル実行とGPUベンチマーク、ネイティブウィンドウの受入検査は対象外である旨を記している。スロット計算は上流の公式に依拠し、オプション削除は上流のマージを前提としているため、エンジンが更新されればさらに変わる可能性がある。0.2.41エントリの記載は中国語のみで、このコミットに英語のリリースノートはない。