RAG-BenchLab(sgyaqing/rag-benchlab)은 문서로부터 RAG 평가 테스트셋을 만들고 여러 RAG 시스템의 답을 채점하는 도구다. README는 다섯 가지 RAG 지표와 결과 캐싱을 제공한다고 밝힌다. 2026-10-08 커밋으로 버전이 0.1.1로 올라왔고, 이번 판의 중심은 모델 설정 연결 점검(연결 확인)이 조용히 실패하는 상황을 재시도로 버티게 한 것이다. 변경은 8개 파일의 261줄 추가와 30줄 삭제였다.
연결 점검은 요청이 접수되기만 하고 응답이 오지 않는 약 10초 구간 때문에 ReadTimeout으로 끝날 수 있다. 커밋 메시지는 이 도구 자체의 사전 점검에서 그런 구간을 봤다고 밝힌다. 0.1.1은 최대 3회 재시도하며 지수 백오프를 쓰지만, 401·402·403 같은 인증·결제 응답은 재시도 대상에서 제외해 틀린 키가 즉시 실패하도록 남겨 둔다. 전체 시한은 30초이며 첫 시도는 15초 읽기와 10초 연결 시간을 그대로 쓰고, 이후 시도에는 남은 시간만 배정한다. chat_completion에 요청 단위 timeout 인자가 추가됐고 llm_http 테스트는 148줄 추가됐다. 두 README에는 UI 스크린샷이 들어갔고 Docker 이미지 태그와 배포 파일 이름도 0.1.1로 바뀌었다.
다만 판이 바뀌어도 인증 기능은 그대로 없다. README는 0.1.1에도 로그인 처리가 없어 접속 가능한 사람이 저장된 API 키를 볼 수 있으므로 내부망에만 두거나 인증을 거치는 프록시 뒤에 놓으라고 경고한다. 무응답 구간 기록은 유지자 측 관측이고, 재시도가 평가 점수나 테스트셋 품질에 미치는 영향은 제시되지 않았다. 판단하기를, 이번 변경은 설정 점검 단계의 오탐을 줄이는 성격이고 평가 기준 자체는 손대지 않은 것으로 보인다.