xorbitsai/inference（Xinference）は、言語・音声・マルチモーダルモデルをサービスする Python ライブラリである。記録されている最新リリースは v4.0.1 だ。ただし、提供された記録にはこのバージョンの変更内容が含まれておらず、新しく追加・修正された機能は確認できない。プロジェクトの説明は、コードを1行変更するだけで GPT 以外のモデルに接続するという利用方法を提示している。クラウド、社内サーバー、個人用-PC のいずれでもモデルを運用できるとしている。
Xinference は独自のモデルや組み込みモデルを展開してサービスするツールである。GPU と CPU を活用した異種ハードウェアと分散デプロイに対応し、複数モデルをサービスするための分散ワーカーと自動バッチ、複数のエンジンを提供する。ユーザーは OpenAI 互換の REST API、RPC、CLI、WebUI から機能を利用でき、外部ライブラリとの統合にも対応している。したがって要点は、特定のモデル1つではなく、複数のモデルを1つのサービス経路で扱えることにある。リポジトリの主言語は Python、ライセンスは Apache-2.0 である。
提供された記録にはスループットやレイテンシといった性能指標も、エンジンごとの比較もない。そのため、機能説明だけから性能の優位を判断することはできない。記録のモメンタムスコアは10点満点で 3.8 であり、新しさ・技術・品質のスコアは提示されていない。1つの API 体制のもとでモデルを運用する機能を確認できるが、v4.0.1 で何が変わったのか、実際の性能がどうなのかは、この資料だけでは判断しにくい。