algorithmicsuperintelligence/optillm は、OpenAI API と互換のリクエストを複数のモデルと推論戦略へ振り分けて組み合わせるプロキシだ。LLM の推論を最適化するアクセス層として、モデルを学習したりファインチューニングしたりせず、リクエストが処理される時点で手法を適用する。リポジトリの最新リリースは v0.4.0 である。
README は、学習やファインチューニングなしに推論時限の手法で精度と性能を高めると説明している。すでに使っている OpenAI 互換 API エンドポイントに接続して利用でき、LiteLLM を通じて複数のプロバイダのモデルにも対応する。数学・コーディング・論理的推論のための手法に加えて、MCP、メモリ、プライバシー、ウェブ検索のプラグインを提供する。2024年8月22日 作成の Python リポジトリで、ライセンスは Apache-2.0、スター数は 4324 だ。
ただし v0.4.0 のリリースノートと変更履歴は与えられた情報にないため、この版で何が変わったかは確認できない。README が挙げる精度・性能の向上を裏づけるベンチマーク数値もなく、どの手法とプラグインの組み合わせが有利かも記録されていない。10 点満点の評価スコアではモメンタムだけが 1.9 点と低く、新しさ・技術・品質の各項目は空欄だ。現時点では推論手法とプラグインを組み合わせるためのアクセス層として捉えるのが妥当で、性能改善を根拠に採用を決めるなら、リリースノートを直接確認してから判断するのが正しい。