github.devotd.
新发现大语言模型基础设施

songquanpeng/one-api v0.6.10 — OpenAI 兼容的 LLM API 统一服务器

songquanpeng/one-api 是一个把多家模型提供商的 API 汇入单一 OpenAI 格式端点、并管理与重新分发密钥的服务器,最新发布版本是 v0.6.10。

仓库信息songquanpeng/one-api ↗

songquanpeng/one-api 是一个把多家模型提供商的 API 汇入单一 OpenAI 格式端点、并管理与重新分发密钥的服务器,最新发布版本是 v0.6.10。

GitHub 项目说明: LLM API 管理 & 分发系统,支持 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元等主流模型,统一 API 适配,可用于 key 管理与二次分发。单可执行文件,提供 Docker 镜像,一键部署,开箱即用。LLM API management & key redistribution system, unifying multiple providers under a single API. Single binary, Docker-ready, with an English UI.

星标
★ 37.2K
复刻
6.9K
语言
JavaScript
许可证
MIT
最新版本
v0.6.10
查看原始来源 ↗在 GitHub 查看 ↗

songquanpeng/one-api 是一个把多家模型提供商的 API 汇总到单一 OpenAI 兼容端点、并管理 API 密钥以便重新分发的服务器。仓库将这个项目定义为 LLM API 管理与分发系统,最新发布版本是 v0.6.10。项目使用 JavaScript 编写,遵循 MIT 许可证。

这个服务器的目的是让多个大语言模型可以通过一个端点访问。仓库说明称它支持 OpenAI 与 Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM 等多家提供商,并提供单一可执行文件和 Docker 镜像,界面为英文。README 说明它以标准 OpenAI API 格式访问多个模型。通道是指向某个提供商的接入路径,服务器在此之上支持令牌管理、把请求分散到多条路径的负载均衡、流式响应、用户管理,以及拆分到多台服务器的多服务器部署。再叠加用量管理,模型访问被集中到了一处。

不过,所收集的记录中既没有 v0.6.10 的发布说明,也没有变更记录。只能确认版本号,从给出的信息无法判断这次发布改动了什么。也没有任何支撑性能或质量的测量数据。该项目属于 API 转发层,响应质量取决于接入的提供商,而各提供商的费用与支持版本列表均未给出。对于想把多家提供商归入同一套密钥体系的团队,它值得一看;但是否采用,先读 GitHub 仓库的 v0.6.10 发布说明会更准确。