rzc156/vla-diag은 VLA 벤치마크의 성공률이 모델 성능 외에 무엇을 반영하는지 점검하는 진단 도구다. 새 릴리스가 아니라 저장소가 소개하는 도구로, 특정 시뮬레이터나 모델 프레임워크에 묶이지 않는 파이썬 라이브러리다. README에 따르면 파이썬 3.9 이상과 numpy를 사용하며, Apache-2.0 라이선스로 공개됐다. 성공률 숫자만 제시하는 대신 평가 결과의 차이가 실제인지, 실패가 어떤 유형인지, 선택에 여지가 있는지 등을 나눠 살펴보는 것이 목적이다.
기능은 stats, integrity, failures, headroom, report의 다섯 모듈로 나뉜다. stats는 결과 차이와 필요한 표본 수를 다루고, integrity는 체크포인트와 액션, 캔리의 무결성을 점검한다. failures는 시간 초과와 동작 오류 같은 실패 유형을 구분하며, headroom은 선택형 접근법에서 가능한 여유를 살핀다. report는 결과 보고를 맡는다. README의 LIBERO 적용 표에서는 1,598개 결정점과 900개 짝수 라운드에서 결정점의 96%에 선택 여지가 없었고, 완벽한 선택기조차 +0.22pp(p=0.93)였다고 설명한다. 세계 모델 실패 예보 사례는 3개 모델과 100개 라운드에서 과내 AUC가 0.25~0.53으로 무작위와 같았다고 제시한다. 기본 설정은 95% 구간과 0.8 검정력을 사용하며, 표본이 부족하면 점추정치 대신 측정 불가라고 표시한다.
README에는 GPU 배포 검증에서 기기 간 차이 0.014가 표본 잡음 0.025보다 작았다는 사례도 있다. 통계 방법으로 Wilson 점추정 구간과 McNemar 짝수분류 검정을 명시하고, CHECKS.md에는 실제 사고 7건을 수록했다. 다만 적용 표의 수치는 저장소 자체 분석에 기반하며 외부 재현은 제시되지 않았다. 따라서 진단 방법과 사례는 평가 수치를 점검할 출발점으로 볼 수 있지만, 다른 환경에서도 같은 결과가 난다는 근거로 읽기는 어렵다.