Devotd Github
新着推論・サービング

sgyaqing/verdict v0.3.0 — 初のマルチモーダル系と CUDA グラフサービング

Verdict は v0.3.0 で、OneJev1.6 マルチモーダル系、CUDA グラフによるテキスト・メディアデコード、リクエスト処理ルールの変更をまとめて追加した。

リポジトリ情報sgyaqing/verdict ↗

Verdict は v0.3.0 で、OneJev1.6 マルチモーダル系、CUDA グラフによるテキスト・メディアデコード、リクエスト処理ルールの変更をまとめて追加した。

GitHub の説明: A high-performance serving engine for System One decision models.

スター
★ 13
フォーク
0
言語
Rust
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

sgyaqing/verdict が 2026-10-26 のコミット ec3452b で v0.3.0 をリリースした。Verdict は System One 決定モデル向けの高性能サービングエンジンであり、このバージョンで初めてマルチモーダルを扱う。新しい系列 verdict-models/OneJev1.6 は 0.8b・4b・9b・27b の 4 サイズを持つ。画像と動画は TypeSafe の assets 仕様で /v1/systemone にて、画像は OpenAI 互換の input_image で /v1/decisions にて処理する。重みは Hugging Face と ModelScope の双方にアップロードされ、変更履歴は回答が公式モデルと照合検証されたと記す。

モデルの選び方も変わった。単一のリポジトリに複数のサイズを置き、サイズは :variant タグで指定し、パッケージはマニフェストだけで構成できる。初回サービング時に公式リポジトリ全体を重みとトークナイザまでスナップショットとして保存し、欠落がないか検査する。推論パスではテキストとメディアのデコードを CUDA グラフ上で実行し、接頭辞を共有するメディアは fork グラフが処理する。torch.compile キャッシュは再起動後も残る。

リクエスト処理ルールも手を入れた。--max-body-mb が既定値 64 MiB で追加され、--max-input-tokens を指定しない場合はモデルが宣言した max_len で切り詰められる。エグゼキュータプロセスが落ちたとき、サーバーは 500 応答を繰り返すのではなく 0 以外の終了コードで停止する。デプロイは Docker Hub の 2 つのイメージ、sgyaqing/verdict:0.3.0-cpu と 0.3.0-cuda(linux/amd64) である。性能については README が RTX 4090 基準の OneJev1.6-9b のテキスト・画像・動画スループットと P99 レイテンシグラフを新たに掲載し、モデル提供元サーバに対して最大 66 倍のスループットだと明かしている。

確認できる範囲は狭い。コミット統計は 4104 行の追加と 2209 行の削除で、最大の変更は executor/torch_exec.py(1334 行追加)だった。Apache-2.0 ライセンスと NOTICE はイメージビルドに一緒に含まれ、NOTICE はスケジューリング設計の参考として vLLM、バッチキュー設計の参考として Text Embeddings Inference、グラフランナーは qev(OmniJev) の mm_engine.py から取り入れた事実を明かしている。マルチモーダル系は OneJev1.6 のみであり、メディア処理には pillow 13.0.0 と torchvision 0.29.1 が必要である。Dockerfile.base-media は、VL チェックポイントのテキスト専用サービングでも Qwen ビデオプロセッサが torchvision を要求すると記載している。外部検証された数値も他系対応のスケジュールも提示されていないため、このバージョンは System One 系を直接試せる範囲にとどまっている。