xorbitsai/inference(Xinference)는 언어·음성·멀티모달 모델을 서비스하는 Python 라이브러리다. 기록된 최신 릴리스는 v4.0.1이다. 다만 제공된 기록에는 이 버전의 변경 내역이 없어 새로 추가되거나 수정된 기능은 확인할 수 없다. 프로젝트 설명은 코드를 한 줄 바꿔 GPT 대신 다른 모델을 연결하는 사용 방식을 제시한다. 클라우드, 사내 서버, 개인 컴퓨터에서 모델을 운영할 수 있다고 안내한다.
Xinference는 자체 모델이나 내장 모델을 배포해 서비스하는 도구다. GPU와 CPU를 활용하는 이기종 하드웨어와 분산 배포를 지원하며, 여러 모델을 서비스하기 위한 분산 워커와 자동 배칭, 다중 엔진을 제공한다. 사용자는 OpenAI 호환 REST API, RPC, CLI, WebUI를 통해 기능에 접근할 수 있고, 외부 라이브러리와의 통합도 지원된다. 따라서 핵심은 특정 모델 하나가 아니라 여러 모델을 한 서비스 경로로 다루는 데 있다. 저장소의 주 언어는 Python이고 라이선스는 Apache-2.0이다.
제공된 기록에는 처리량이나 지연 시간 같은 성능 수치와 엔진별 비교가 없다. 따라서 기능 설명만으로 성능 우위를 판단할 수는 없다. 기록의 모멘텀 점수는 10점 만점에 3.8이며, 참신성·기술·품질 점수는 제공되지 않았다. 모델을 한 API 체계에서 운영하는 기능은 확인되지만, v4.0.1에서 무엇이 달라졌는지와 실제 성능은 이 자료만으로 판단하기 어렵다.