github.devotd.
新发现检索增强与搜索

netease-youdao/bcembedding — 中英双语 RAG 嵌入与重排序

梳理网易有道公开的中英双语 RAG 嵌入与重排序模型包 BCEmbedding 的构成与支持范围。

仓库信息netease-youdao/bcembedding ↗

梳理网易有道公开的中英双语 RAG 嵌入与重排序模型包 BCEmbedding 的构成与支持范围。

GitHub 项目说明: Netease Youdao's open-source embedding and reranker models for RAG products.

星标
★ 1.9K
复刻
129
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

netease-youdao/bcembedding 是网易有道公开的 RAG 嵌入与重排序模型包。它使用 Python 编写,遵循 Apache-2.0 许可证。该仓库的 Star 数为 1881 个,未发现已公开的发布版本。仓库创建于 2024 年 1 月。

检索增强生成(RAG)是一种依据检索到的文档生成答案的方式。BCEmbedding 被介绍为面向中英双语与跨语言(cross-lingual)的 RAG 嵌入项目,同时提供用于生成检索候选的嵌入模型和用于重新排定名次的重排序模型。EmbeddingModel 生成语义向量,用于语义检索与问答;RerankerModel 则对检索结果进行精修并重新排名。各模型的语言支持不同:EmbeddingModel 支持中文和英语,RerankerModel 支持中文、英语、日语和韩语。README 也说明提供用于与 LangChain 和 LlamaIndex 集成的 API。

有一些边界需要确认。EmbeddingModel 仅支持中文和英语,日语和韩语只有 RerankerModel 才纳入支持范围。本次整理的信息中也没有性能对比的基准数值,因此与其他嵌入模型之间的优劣尚难判断。仅从已文档化的范围来看,它更接近一套面向中英检索的嵌入与重排序组合。