xorbitsai/inference（Xinference）是一个用于服务语言、语音和多模态模型的 Python 库。所记录的最新版本是 v4.0.1。不过，所提供的记录中没有该版本的变更日志，因此无法确认新增或修改了哪些功能。项目说明给出了一种使用方式：只需改动一行代码，即可接入 GPT 以外的其他模型。它说明模型可以运行在云端、企业内部服务器以及个人电脑上。
Xinference 是一个用于部署并服务自有模型或内置模型的工具。它支持利用 GPU 和 CPU 的异构硬件以及分布式部署，并提供用于同时服务多个模型的分布式工作节点与自动批处理、多种引擎。用户可以通过 OpenAI 兼容的 REST API、RPC、CLI 和 WebUI 使用其功能，同时也支持与外部库集成。因此其核心并不是某一个特定模型，而是通过一条服务路径处理多个模型。该仓库的主要语言是 Python，许可证为 Apache-2.0。
所提供的记录中没有吞吐量、延迟等性能数据，也没有各引擎的对比。因此仅凭功能描述无法判断性能优劣。记录中的动量评分为 3.8 分（满分 10 分）；新颖性、技术与质量评分未提供。可以在一个 API 体系下运行模型这一功能已得到确认，但 v4.0.1 究竟带来了哪些变化以及实际性能如何，仅凭这份材料难以判断。