aurelio-labs/semantic-router 是一个 Python 库,它比较大语言模型(LLM)与智能体请求的语义和路由,以选出模型或工具路径。它以 MIT 许可证发布,该仓库最近的发布版本是 v1.0.2。
这个库所做的,是在调用模型之前决定请求走哪条路径。在挂载了多个模型和工具的服务中,它是一个仅依据请求语义来选择目的地的决策层(decision layer)。README 介绍了两种方式:在向量空间中比较请求的语义与候选路由,以及通过查询小型决策模型一次来完成路由。无论采用哪种方式,都会为每个结果提供可校准的置信度(confidence),并以实际概率值呈现。README 中整理了路由定义、本地 FastEmbed 嵌入、通过 IndexedRouter 传递请求的方法,以及校准与阈值(threshold)应用流程。该仓库创建于 2023 年 10 月 30 日,已积累 3960 个 GitHub 星标。
不过,资料中没有发布说明,因此无法得知 v1.0.2 改动了什么。也没有关于路由准确率或响应延迟的对比数据。README 自称“超高速”,这是自我描述而非测量结果。仓库描述中还提到多模态数据处理,但 README 整理的内容是语义路由方面的。资料同样没有回答语义向量比较能否转化为实际的路由性能。结构简单,许可证也是 MIT,值得一试,但是否引入,最好在用真实请求亲自调整几次阈值之后再做决定。