openllamas/model-xray は、LLM エンドポイントが実際にどのモデルを裏で動かしているかを複数の軸で検査する CLI である。2026-11-02 のコミットは、信頼できる同一モデルの参照エンドポイントを新たに接続して品質とトークナイザの差分を測り直す機能を追加し、サブ項目が失敗しても総合評価が通過になってしまう不具合も併せて修正した。
参照エンドポイントがある場合、品質プローブは設問ごとに主応答と参照応答を突き合わせて比較する。主エンドポイントが 3 問以上多く誤り、相対乖離が 25% 以上で、McNemar 正確度検定（同じ設問の正誤のみを突き合わせる統計検定）の片側 p 値が 0.15 以下のときのみ、系統的な差分へ昇格させる。参照の正確度が 90% 以上かつ主エンドポイントが 60% 未満で p 値が 0.05 以下の場合は品質スコアを 45 に抑え、それ以外の系統的な乖離は 70 に制限する。乖離が逆向きになると p 値が上がり、差分の断定が 막われ、1 問だけの差は記録されるだけで処理されない。品質項目はデフォルトレウンドで主題 12 問と対照 3 問を実行し、--quality-samples でラウンドを 1〜5 回まで増やして 95% 信頼区間を狭められる。
トークナイザ指紋プローブは 7 種の固定コーパスで両エンドポイントの入力トークン増加ベクトルを比較し、トークナイザやモデル系統の違いを浮かび上がらせる。比較可能なコーパスが 5 種以上でなければスコアは出ず、この項目は 5% の重みとして加算され、40 点未満の場合は総点を 45 に抑えるハードレーンに入る。同じコミットで課金プローブには長い生成によるタイムアウトを避ける短い出力経路が入り、能力プローブはモデルの拒否とパラメータ制約を区別し、コンテキストプローブは HTTP 413 応答をサイズ差分検証に使う。レスポンス ID や systemFingerprint などのプロトコルメタデータも収集するが、単独の有罪認定の根拠としては使わない。
ただし新機能は参照エンドポイントがないと機能しない。参照モデルとキーは比較リクエストにのみ使われ、CLI でのみ設定でき、WebUI にはまだ該当フォームが接続されていない。参照設定をすべて入れると、呼び出しは 63 回から 89 回へ、入力トークンは 240600 から 252600 へ増える。README は 1 回の実行が一時的な異常で歪むことがあるため、2〜3 回の反復実行を推奨している。同一モデルの参照を確保できる環境でこそ判断力が付く変更である。