algorithmicsuperintelligence/optillm

OpenAI API 互換のリクエストを複数のモデルと推論戦略へ振り分けて組み合わせるプロキシ algorithmicsuperintelligence/optillm の最新リリース v0.4.0 と、README が整理した手法・プラグイン構成を扱う。

GitHub の説明: Optimizing inference proxy for LLMs

スター

★ 4.3K

フォーク

400

言語

Python

ライセンス

Apache-2.0

最新リリース

v0.4.0