新发现
algorithmicsuperintelligence/optillm v0.4.0 — 推理优化代理
介绍 algorithmicsuperintelligence/optillm v0.4.0，这是一个把兼容 OpenAI API 的请求分发并组合到多个模型与推理策略上的代理，同时梳理其 README 中记录的技术与插件构成。
algorithmicsuperintelligence/optillm
介绍 algorithmicsuperintelligence/optillm v0.4.0，这是一个把兼容 OpenAI API 的请求分发并组合到多个模型与推理策略上的代理，同时梳理其 README 中记录的技术与插件构成。
GitHub 项目说明: Optimizing inference proxy for LLMs
在 GitHub 查看 ↗- 星标
- ★ 4.3K
- 复刻
- 400
- 语言
- Python
- 许可证
- Apache-2.0
- 最新版本
- v0.4.0
文章
1没有符合条件的动态。