huggingface/sentence-transformers は、文を数値の配列に変換して比較する埋め込み(embedding)と、検索候補の順序を組み替える再順位付け(reranking)モデルを 1 つのライブラリで提供する Python プロジェクトである。公開されている最新リリースは v6.1.0 である。埋め込みにより意味の近い文を数値的な類似度で探し、再順位付けにより検索結果のうちよりよく合致する文を前面へ移動できる。
Sentence Transformer、Cross-Encoder、Sparse Encoder、Multi-Vector Encoder という 4 種類のモデル型を同じ枠組みで扱えることが、このリポジトリの範囲である。これらのモデルで埋め込みと類似度スコアを計算し、意味検索(semantic search)や意味的テキスト類似度に利用できる。事前学習済みの埋め込みと再順位付けモデルをそのまま推論に用いるのはもちろん、独自の埋め込みやリランカー、疎エンコーダ、マルチベクターエンコーダを直接学習・ファインチューニングする経路も同じライブラリに含まれている。リポジトリは 2019 年 7 月に作成され、スター数(stars)は 19201、ライセンスは Apache-2.0 である。
ただし、提供された記録には新規性・技術・品質の各項目にスコアが記載されておらず、10 点満点のモメンタムスコアが 3.2 として残っている。パフォーマンスの比較数値も v6.1.0 の変更内容リストも示されていないため、今回のリリースが何を変更したかは確認できない。このリポジトリを埋め込みと再順位付けモデルを集約したフレームワークと捉えるのは妥当だが、実際の性能を測るには別途の比較が必要である。