rzc156/vla-diag は、VLA ベンチマークの成功率がモデル性能以外に何を反映しているかを点検する診断ツールである。新しいリリースではなく、リポジトリが紹介しているツールであり、特定のシミュレータやモデルフレームワークに縛られない Python ライブラリである。README によれば Python 3.9 以上と numpy を使い、Apache-2.0 ライセンスで公開されている。成功率の数字だけを示すのではなく、評価結果の差が本物か、失敗がどの種別か、選択に余地があるかを分けて調べることを目的としている。
機能は stats、integrity、failures、headroom、report の五つのモジュールに分かれる。stats は結果の差と必要な標本数を扱い、integrity はチェックポイントとアクション、canary の完全性を点検する。failures はタイムアウトや動作エラーなどの失敗種別を区別し、headroom は選択型アプローチで可能な余裕を調べる。report は結果の報告を担う。README の LIBERO 適用表では、1,598 個の判断点と 900 組のペアラウンドにおいて、判断点の 96% に選択の余地がなく、完全な選択器でも +0.22pp（p=0.93）にすぎなかったと説明している。ワールドモデルの失敗予測事例では、3 モデルと 100 ラウンドで分布内 AUC が 0.25~0.53 であり、ランダムと同程度だったとする。既定の設定は 95% 区間と検出力 0.8 を使い、標本が足りない場合は点推定の代わりに測定不可と表示する。
README には、GPU デプロイ検証においてデバイス間差 0.014 が標本ノイズ 0.025 より小さかった事例もある。統計手法として Wilson 点推定区間と McNemar のペア比較検定を明示し、CHECKS.md には実際の障害 7 件を収録している。ただし適用表の数値はリポジトリ自身の分析に基づくもので、外部での再現は示されていない。したがって診断方法と事例は評価数値を点検する出発点として捉えられるが、他の環境でも同じ結果が出るとの根拠として読むことはできない。