github.devotd.
新着RAG・検索

netease-youdao/bcembedding — 中国語・英語バイリンガル RAG 埋め込み・リランキング

NetEase Youdao が公開した中国語・英語バイリンガル RAG 埋め込み・リランキングモデルパッケージ BCEmbedding の構成と対応範囲を整理する。

リポジトリ情報netease-youdao/bcembedding ↗

NetEase Youdao が公開した中国語・英語バイリンガル RAG 埋め込み・リランキングモデルパッケージ BCEmbedding の構成と対応範囲を整理する。

GitHub の説明: Netease Youdao's open-source embedding and reranker models for RAG products.

スター
★ 1.9K
フォーク
129
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

netease-youdao/bcembedding は NetEase Youdao が公開した RAG 向けの埋め込み・リランキングモデルパッケージである。Python で書かれ、ライセンスは Apache-2.0 である。リポジトリのスター数は 1881 個で、公開されているリリースバージョンは確認できない。リポジトリは 2024 年 1 月に作成された。

検索拡張生成(RAG)は、取得した文章を根拠に回答を作る方式である。BCEmbedding は中国語・英語バイリンガルかつクロスリンガル(cross-lingual)な RAG 埋め込みプロジェクトとして紹介されており、検索候補を作る埋め込みモデルと、順位を貼り直すリランキングモデルの両方を提供する。EmbeddingModel は意味ベクトルを生成し、意味検索と質問回答に使われる。RerankerModel は検索結果を絞り込んで順位を付ける。対応言語はモデルごとに異なり、EmbeddingModel は中国語と英語、RerankerModel は中国語・英語・日本語・韓国語に対応する。README は LangChain と LlamaIndex 連携用の API も提供すると明言している。

確認しておくべき境界がある。EmbeddingModel は中国語と英語のみに対応しており、日本語と韓国語は RerankerModel でのみ対応範囲に入る。性能比較のベンチマーク数値も今回整理した情報には含まれていないため、他の埋め込みモデルとの優劣は判断が早い。文書化されている範囲だけを見ると、中国語・英語中心の検索に合わせた埋め込み・リランキングの組み合わせに近い。