github.devotd.
新发现大语言模型基础设施

algorithmicsuperintelligence/optillm v0.4.0 — 推理优化代理

介绍 algorithmicsuperintelligence/optillm v0.4.0,这是一个把兼容 OpenAI API 的请求分发并组合到多个模型与推理策略上的代理,同时梳理其 README 中记录的技术与插件构成。

仓库信息algorithmicsuperintelligence/optillm ↗

介绍 algorithmicsuperintelligence/optillm v0.4.0,这是一个把兼容 OpenAI API 的请求分发并组合到多个模型与推理策略上的代理,同时梳理其 README 中记录的技术与插件构成。

GitHub 项目说明: Optimizing inference proxy for LLMs

星标
★ 4.3K
复刻
400
语言
Python
许可证
Apache-2.0
最新版本
v0.4.0
查看原始来源 ↗在 GitHub 查看 ↗

algorithmicsuperintelligence/optillm 是一个代理,把兼容 OpenAI API 的请求分发到多个模型和推理策略上并进行组合。它充当优化 LLM 推理的接入层,不学习也不微调模型,而是在请求被处理的时刻应用技术。该仓库的最新版本是 v0.4.0。

README 说明该项目依靠推理时刻的技术提升准确度和性能,不需要学习或微调。它可以接入已经在使用的 OpenAI 兼容 API 端点,并通过 LiteLLM 支持多家提供商的模型。项目提供面向数学、代码和逻辑推理的技术,同时提供 MCP、记忆、隐私和网页搜索插件。这是一个 2024年8月22日 创建的 Python 仓库,采用 Apache-2.0 许可证,星标数为 4324。

不过 v0.4.0 的发布说明和变更记录并未给出,因此这一版究竟改动了什么无法确认。README 所称的准确度与性能提升也没有基准测试数值支撑,哪种技术与插件组合更有利同样没有记录。在 10 分制评价中只有动能一项记为 1.9 分,新奇度、技术和质量三项均为空。目前更合适的理解是把它当作一个可以尝试组合推理技术与插件的接入层;若要依据性能改善决定是否采用,应先直接查看发布说明再下结论。