minishlab/model2vec 是一个 Python 工具,可将预训练的句子嵌入模型(Sentence Transformer)转换为体积小、速度快的静态嵌入模型。嵌入是把文本转换为数字向量、用于搜索或分类的表示,而静态嵌入则是预先算好向量、使用时直接查找,而不必每次都运行神经网络。所提供记录中的最新版本是 v0.10.0,但由于没有变更条目,无法确认这一版本具体处理了什么。
核心是把大模型的知识蒸馏到小得多的表中。README 表示,模型体积最多可缩小 50 倍,CPU 推理最多可提速 500 倍。可以加载预训练模型进行蒸馏,也可以完全不使用数据集;还可针对分类、相似度、回归和成对相似度等任务进行微调。随附提供的 Potion 是一组可直接下载使用的嵌入模型。该仓库创建于 2024 年 7 月 18 日,采用 MIT 许可证,拥有 2250 个 star。
不过,50 倍和 500 倍只是 README 给出的上限值,并未提供单独测量的对比数据。README 还补充说明性能可能会略有下降。评估记录中只保留了满分 10 分制下的动量分数 2.1,新鲜度、技术和完整性分数均为空。它可以看作一种轻量嵌入的选项,但仅凭这份记录很难判断性能下降的程度。