bentoml/bentoml

bentoml/bentoml 是一个将 AI 应用与模型封装为 API 并进行部署的 Python 框架，其最新版本为 v1.4.39，提供了动态批处理、模型并行化等托管优化能力。

GitHub 项目说明: The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

星标

★ 8.9K

复刻

1K

语言

Python

许可证

Apache-2.0

最新版本

v1.4.39