github.devotd.
新着RAG・検索

minishlab/model2vec v0.10.0 — 静的埋め込みのためのモデル蒸留ツール

minishlab/model2vec は事前学習済みの文埋め込みモデル(Sentence Transformer)を小さく速い静的埋め込みモデルへ変換する Python ツールであり、提供された記録における最新リリースは v0.10.0 である。

リポジトリ情報minishlab/model2vec ↗

minishlab/model2vec は事前学習済みの文埋め込みモデル(Sentence Transformer)を小さく速い静的埋め込みモデルへ変換する Python ツールであり、提供された記録における最新リリースは v0.10.0 である。

GitHub の説明: Fast State-of-the-Art Static Embeddings

スター
★ 2.3K
フォーク
128
言語
Python
ライセンス
MIT
最新リリース
v0.10.0
原文を見る ↗GitHub で見る ↗

minishlab/model2vec は、事前学習済みの文埋め込みモデル(Sentence Transformer)を小さく速い静的埋め込みモデルへ変換する Python ツールだ。埋め込みはテキストを数値ベクトルに変換して検索や分類に用いる表現であり、静的埋め込みは使うたびにニューラルネットワークを計算するのではなく、あらかじめ用意されたベクトルを参照する方式である。提供された記録の最新リリースは v0.10.0 だが、変更点の記載がないため、このバージョンが何を扱ったかは確認できない。

中核は大規模モデルの知識をはるかに小さい表へ移す蒸留(distillation)である。README はモデルサイズを最大 50 倍まで削減し、CPU 推論を最大 500 倍まで高速化できると説明している。事前学習済みモデルを読み込んで蒸留することも、データセットなしで蒸留することもでき、分類・類似度・回帰・ペア類似度のタスクではファインチューニングも可能である。併せて提供される Potion は、ダウンロードしてそのまま使える埋め込みモデルの集まりだ。リポジトリは 2024 年 7 月 18 日に作成され、ライセンスは MIT、スターは 2250 個である。

ただし 50 倍と 500 倍は README が示す最大値にとどまり、別途測定した比較データは示されていない。README は性能がわずかに低下する可能性があるとも付け加えている。評価記録には 10 点満点基準のモメンタムスコア 2.1 だけが残っており、新鮮度・技術・完成度のスコアは空欄である。埋め込みを軽量に選ぶ選択肢として見ることはできるが、性能低下の程度がどのレベルかは、この記録だけでは測りにくい。