yinsongxu/llm2jev は、既存の言語モデルを Jev 方式の構造化された判定モデルに変換する Python プロジェクトだ。リポジトリの説明によれば、学習やファインチューニングなしで使用できる。最新リリース v0.2.0 では画像バウンディングボックスを扱う Box 判定を追加した。既存の Choice・Score・Noul を含む4種類のクエリを1つのリクエストで混在できる。
この方式は回答トークンを1つずつ生成するのではなく、入力を処理する prefilling 段階で yes/no logits だけを読むことで判定確率を得る。したがってトークン単位のデコードなしで、分類・評価・行動選択に利用できることが核心だ。テキストと画像入力を扱い、SGLang・Transformers・MLX バックエンドを提供する。クライアントは OpenAI Python SDK を継承しており、チャットと判定を同じサービスとモデルで処理できる。ライセンスは Apache-2.0。
README は公開の JevBench 231 問で精度と遅延を評価し、P50 遅延が Jev 公式結果の10分の1未満であると主張する。ただしこの比較はリポジトリ自身の評価であり、外部での再現結果は FACTS に示されていない。よって、その性能上の優位性が独立に確認されたとみなすより、prefilling ベースの判定アプローチと Box 追加を示すプロジェクトと捉えるのが妥当だ。