openllamas/model-xray 是一个 CLI，从多个维度检查 LLM 端点背后实际运行的是哪个模型。2026-11-02 的提交新增了接上一个可信的同一模型参考端点、重新测量质量与分词器差异的功能，同时也修复了子项失败时总评却判为通过的缺陷。
如果存在参考端点，质量探针会把每道题的主响应与参考响应配对比较。只有当主端点少答对 3 题及以上、相对差距在 25% 及以上，且 McNemar 准确性检验（只对同一批题目的对错情况配对的统计检验）的单侧 p 值不大于 0.15 时，才会将其提升为系统性差异。当参考准确率在 90% 及以上、而主端点低于 60% 且 p 值不大于 0.05 时，质量分数被限制在 45；其他系统性差距则限制在 70。如果差距方向相反，p 值会升高，从而阻止差异的断定；只差一道题的情况仅作记录，不作处理。质量项在默认轮次运行 12 道主题题和 3 道对照题，可用 --quality-samples 将轮次增加到 1~5 轮，以收窄 95% 置信区间。
分词器指纹探针用 7 种固定语料比较两个端点的输入 token 增长向量，以暴露分词器或模型系列上的差异。必须有至少 5 种语料可比才会产生分数；该项以 5% 的权重计入，若低于 40 分则进入把总分限制在 45 的硬性通道。同一个提交中，计费探针增加了短输出路径以避免长生成导致的超时，能力探针区分模型的拒绝与参数约束，上下文探针则把 HTTP 413 响应用于大小差异验证。它也会收集响应 ID 和 systemFingerprint 等协议元数据，但不会把它们单独当作定罪依据。
不过，新功能必须有参考端点才能工作。参考模型和密钥只用于比较请求，并且只能在 CLI 中配置，WebUI 中还没有接入相应的表单。填入全部参考设置后，调用从 63 次增加到 89 次，输入 token 从 240600 增加到 252600。README 建议重复运行 2~3 次，因为单次运行可能会被偶发异常带偏。只有在能拿到同一模型参考的环境中，这项改动才体现出判断力。