Devotd Github
新发现检索增强与搜索

sgyaqing/rag-benchlab 0.1.1 — 新增模型连接检查重试

RAG-BenchLab 0.1.1 在模型设置连接检查中加入了指数退避重试(最多 3 次,整体 30 秒限制),并在 README 中加入了 UI 截图和版本说明。

仓库信息sgyaqing/rag-benchlab ↗

RAG-BenchLab 0.1.1 在模型设置连接检查中加入了指数退避重试(最多 3 次,整体 30 秒限制),并在 README 中加入了 UI 截图和版本说明。

GitHub 项目说明: Build RAG evaluation testsets from documents and benchmark RAG systems.

星标
★ 16
复刻
0
语言
Python
许可证
Apache-2.0
最新版本
v0.1.1
查看原始来源 ↗在 GitHub 查看 ↗

RAG-BenchLab(sgyaqing/rag-benchlab)是一个从文档生成 RAG 评估测试集、并对多个 RAG 系统的答案进行评分的工具。README 说明它提供五种 RAG 指标和结果缓存。版本通过 2026-10-08 的提交提升到 0.1.1,本次版本的核心是让模型设置连接检查(连接确认)通过重试来承受失败。此次变更涉及 8 个文件,新增 261 行、删除 30 行。

连接检查可能因为存在约 10 秒的“请求仅被受理却没有响应返回”的时段而以 ReadTimeout 结束。提交信息说明,在该工具自身的预检查中观察到了这样的时段。0.1.1 最多重试 3 次并使用指数退避,但 401、402、403 等认证与计费响应被排除在重试范围之外,以便让错误的密钥立即失败。总时限为 30 秒,第一次尝试沿用原有的 15 秒读取和 10 秒连接时间,之后的尝试只分配剩余时间。chat_completion 新增了以请求为单位的 timeout 参数,llm_http 测试新增了 148 行。两份 README 都加入了 UI 截图,Docker 镜像标签和分发文件名称也改成了 0.1.1。

不过,即使版本更替,认证功能依然没有。README 警告说 0.1.1 同样没有登录处理,能够访问的人可以看到保存的 API 密钥,因此应仅放在内网中,或放在带认证的代理之后。无响应时段的记录是维护方一侧的观测结果,而重试对评估分数或测试集质量的影响并未给出。判断来看,这次变更的性质是减少设置检查阶段的误报,并未触碰评估标准本身。