Devotd Github
新发现检索增强与搜索

fengzhenfei/carrel v0.4.1 — 新增搜索与代码库评估报告

fengzhenfei/carrel 升级至 0.4.1,公开了关于文本检索基准测试和 24 个代码查询的自评报告。

仓库信息fengzhenfei/carrel ↗

fengzhenfei/carrel 升级至 0.4.1,公开了关于文本检索基准测试和 24 个代码查询的自评报告。

GitHub 项目说明: Ontology-Augmented Generation for AI agents.

星标
★ 121
复刻
3
语言
Python
许可证
MIT
最新版本
v0.2.0
查看原始来源 ↗在 GitHub 查看 ↗

fengzhenfei/carrel 是一个面向 AI 智能体、采用本体增强生成(ontology-augmented generation)方式的自托管知识库。2026 年 11 月 4 日的提交 23ef852 将包版本从 0.4.0 提升到 0.4.1,并向仓库添加了 0.4.1 变更与升级说明,以及新撰写的搜索与代码库评估报告。

本次版本的重点不是新增功能,而是公开评估结果。README 说明 0.4.1 在 275 个文本查询上的有据 Hit@5(前 5 个检索结果中包含正确依据的比例)为 93.45%,MRR@10(正确依据在检索结果中平均排名的倒数)为 0.8141。与 0.4.0 在相同查询上记录的 92.36% 和 0.7979 并列来看,可以读作小幅改善。评估文档写明,在 38 个跨文档查询中,单次响应平均覆盖了 76.75% 的依据组,并指出这高于 0.4.0 的 68.73%。文本检索重放使用 Qwen3-Embedding-0.6B 和 Qwen3-Reranker-4B 返回了 10 个直接命中,并记录称使用了 454 个依据组和 5 个知识库。

针对代码的测量是单独进行的。README 总结称,在 24 个代码查询中,Haiku 仅凭首次响应就完整回答了 13 个,而在允许使用 Skill(智能体收窄检索范围并将指示延续下去的后续查询功能)时可以回答 23 个。在 0.4.1 中,Skill 会以与直接命中相同的引用方式单独显示图谱来源段落。比较文档条款的两个版本时,可以在首次响应中读取双方,也可以重新查询缺失的一方,后续查询会继承时间范围以及来源与图谱版本。

不过,这些数字是存储库自行开展的自我评估。24 个代码问题的样本很小,文本检索也是在 275 个查询、454 个依据组和 5 个知识库这一构成范围内复现出来的值;评估中还一并纳入了 16 个页面图像和 55 个文档问题。还需要确认在开启搜索配置 KB_SEARCH_TEXT_DISCOVERY=true 的条件下测得的分数。图谱重建稳定性、本体治理等条目仍然指向 0.4.0 的完整技术报告。要断言 0.4.1 的检索质量有了显著提升,目前为时尚早。