RAG-BenchLab（sgyaqing/rag-benchlab）は、文書から RAG 評価のテストセットを作成し、複数の RAG システムの回答を採点するツールである。README は 5 つの RAG 指標と結果のキャッシュを提供すると明かしている。2026-10-08 のコミットでバージョンが 0.1.1 に引き上げられ、今回の版の中心はモデル設定の接続チェック（接続確認）が静かに失敗する状況を再試行でやり過ごすようにした点にある。変更は 8 ファイルの 261 行追加と 30 行削除だった。
接続チェックは、リクエストが受け付けられるだけて応答が返らない約 10 秒の区間のため、ReadTimeout で終わることがある。コミットメッセージは、その工具自身の事前チェックでそのような区間が見られたと明かしている。0.1.1 は最大 3 回再試行し指数バックオフを使うが、401・402・403 のような認証・決済の応答は再試行対象から除外し、誤ったキーが即座に失敗するように残している。全体の時限は 30 秒で、最初の試行は従来の 15 秒の読み取りと 10 秒の接続時間をそのまま使い、その後の試行には残りの時間だけを割り当てる。chat_completion にリクエスト単位の timeout 引数が追加され、llm_http テストは 148 行追加された。2 つの README には UI スクリーンショットが入り、Docker イメージのタグと配布ファイル名も 0.1.1 に変わった。
ただし版が変わっても認証機能は依然としてない。README は 0.1.1 にもログイン処理がなく、アクセスできる人が保存された API キーを閲覧できるため、内部ネットワーク内にのみ置くか、認証を経由するプロキシの後ろに置くよう警告している。無応答区間の記録は維持者側の観測であり、再試行が評価スコアやテストセット品質に与える影響は示されていない。判断すると、今回の変更は設定チェック段階の誤検知を減らす性質のもので、評価基準そのものには手を触れていないと見られる。