bentoml/bentoml 是一个将 AI 应用与模型封装成 API 并部署的 Python 框架。最新版本为 v1.4.39，该仓库把模型推理 API、任务队列（job queue）、LLM 应用以及串联多个模型的流水线整合到同一个服务中对外提供。
BentoML 处理的不是模型训练，而是在线推理。在线推理是指把请求发送给已准备好的模型并接收结果，这个仓库正是为这一环节提供 API 和托管优化。它把任何模型——无论开源还是自研——加载后暴露为返回推理结果的端点，并支持把多个模型整合为一个服务的多模型托管。动态批处理（dynamic batching）是把堆积的请求一次性处理，模型并行化（model parallelism）是把一个模型拆分到多个设备上运行。此外还包含将多个阶段依次串联的多阶段流水线。部署既可以直接使用 Docker 容器，也可以交给 BentoCloud；许可证为 Apache-2.0，星标数为 8915。
不过，v1.4.39 的变更记录无法确认。除了版本号之外，没有说明有哪些改进，也没有性能基准数据；已填写的评分项只有 momentum 3.1（满分 10 分），偏低。该项目创建于 2019 年 4 月 2 日，但仅凭这些信息无法了解其维护频率和实际运营规模。等下一个版本给出变更记录后，值得再关注这个仓库。