openllamas/model-xray는 LLM 엔드포인트가 실제로 어떤 모델을 붙여 돌리는지 여러 축으로 검사하는 CLI다. 2026-11-02 커밋은 신뢰할 수 있는 동일 모델 참조 엔드포인트를 새로 붙여 품질과 토크나이저 차분을 재는 기능을 추가하고, 하위 항목이 실패해도 총평이 통과로 나오는 결함도 함께 고쳤다.
참조 끝점이 있으면 품질 프로브는 문항별로 주 응답과 참조 응답을 짝지어 비교한다. 주 끝점이 3문항 이상 덜 맞고 상대 격차가 25% 이상이며 McNemar 정확도 검정(같은 문항의 정답 여부만 짝지어 보는 통계 검정)의 단측 p값이 0.15 이하일 때만 체계적 차분으로 승격한다. 참조 정확도가 90% 이상인데 주 끝점이 60% 미만이고 p값이 0.05 이하이면 품질 점수를 45로 막고, 그 밖의 체계적 격차는 70으로 제한한다. 격차가 반대 방향이면 p값이 올라가 차분 강정이 막히고, 문항 한 개 차이는 고지만 따른다. 품질 항목은 기본 라운드에 주제 12문항과 대조 3문항을 돌리고, --quality-samples로 1~5라운드까지 늘려 95% 신뢰구간을 좁힐 수 있다.
토크나이저 지문 프로브는 7종 고정 말뭉치로 두 끝점의 입력 토큰 증가 벡터를 비교해 토크나이저나 모델 계열 차이를 드러낸다. 비교 가능한 말뭉치가 5종 이상이어야 점수가 나오며, 이 항목은 5% 가중치로 더해지고 40점 미만이면 총점을 45로 막는 하드 레인에 들어간다. 같은 커밋에서 과금 프로브에는 긴 생성에 의한 타임아웃을 피하는 짧은 출력 경로가 들어갔고, 능력 프로브는 모델의 거절과 파라미터 제약을 구분하며, 컨텍스트 프로브는 HTTP 413 응답을 크기 차분 검증에 쓴다. 응답 ID와 systemFingerprint 같은 프로토콜 메타데이터도 모으지만 단독 정죄 근거로 쓰지 않는다.
다만 새 기능은 참조 끝점이 있어야 동작한다. 참조 모델과 키는 비교 요청에만 쓰이고 CLI에서만 설정되며, WebUI에는 아직 해당 폼이 연결되지 않았다. 참조 설정을 모두 넣으면 호출은 63회에서 89회로, 입력 토큰은 240600에서 252600으로 늘어난다. README는 한 번의 실행이 일시적 이상에 휘둘릴 수 있어 2~3회 반복 실행을 권한다. 같은 모델 참조를 확보할 수 있는 환경에서만 판단력이 붙는 변경이다.