RAG-BenchLab(sgyaqing/rag-benchlab)是一个从文档生成 RAG 评估测试集、并对多个 RAG 系统的答案进行评分的工具。README 说明它提供五种 RAG 指标和结果缓存。版本通过 2026-10-08 的提交提升到 0.1.1,本次版本的核心是让模型设置连接检查(连接确认)通过重试来承受失败。此次变更涉及 8 个文件,新增 261 行、删除 30 行。
连接检查可能因为存在约 10 秒的“请求仅被受理却没有响应返回”的时段而以 ReadTimeout 结束。提交信息说明,在该工具自身的预检查中观察到了这样的时段。0.1.1 最多重试 3 次并使用指数退避,但 401、402、403 等认证与计费响应被排除在重试范围之外,以便让错误的密钥立即失败。总时限为 30 秒,第一次尝试沿用原有的 15 秒读取和 10 秒连接时间,之后的尝试只分配剩余时间。chat_completion 新增了以请求为单位的 timeout 参数,llm_http 测试新增了 148 行。两份 README 都加入了 UI 截图,Docker 镜像标签和分发文件名称也改成了 0.1.1。
不过,即使版本更替,认证功能依然没有。README 警告说 0.1.1 同样没有登录处理,能够访问的人可以看到保存的 API 密钥,因此应仅放在内网中,或放在带认证的代理之后。无响应时段的记录是维护方一侧的观测结果,而重试对评估分数或测试集质量的影响并未给出。判断来看,这次变更的性质是减少设置检查阶段的误报,并未触碰评估标准本身。