rzc156/vla-diag 是一个诊断工具,用来检视 VLA 基准的成功率除模型性能之外还反映了什么。它不是新版本发布,而是仓库介绍的一个工具,是一个不绑定特定模拟器或模型框架的 Python 库。README 说明它需要 Python 3.9 及以上版本和 numpy,以 Apache-2.0 许可证公开。它不只给出一个成功率数字,而是把问题拆开来分别考察:评测结果之间的差异是否真实、失败属于哪些类型、选择上是否还有余地。
功能分为 stats、integrity、failures、headroom、report 五个模块。stats 关注结果差异和所需样本量,integrity 检查检查点、动作和 canary 的完整性。failures 区分超时和动作错误等失败类型,headroom 考察基于选择的方案中可能的余量。report 负责结果报告。README 中的 LIBERO 应用表说明,在 1,598 个决策点和 900 组配对轮次中,96% 的决策点没有选择余地,即便是完美的选择者也只达到 +0.22pp(p=0.93)。世界模型失败预测案例给出 3 个模型、100 轮测试,分布内 AUC 为 0.25~0.53,与随机水平相当。默认设置使用 95% 区间和 0.8 的检验功效;样本不足时,会显示为不可测量,而不是给出点估计。
README 还举了一个 GPU 部署验证的案例:设备间差异 0.014 小于抽样噪声 0.025。它明确给出的统计方法是 Wilson 得分区间和 McNemar 配对检验,CHECKS.md 则收录了 7 起真实事故。不过应用表中的数值基于仓库自身的分析,并未提供外部复现。因此,这些诊断方法与案例可以作为检查评测数字的出发点,但难以据此认为其他环境中也会得到相同结果。