bentoml/bentoml は AI アプリとモデルを API 化してデプロイする Python フレームワークです。最新リリースは v1.4.39 で、このリポジトリはモデル推論 API、ジョブキュー（job queue）、LLM アプリ、複数のモデルをつなぐパイプラインを 1 つのサービスにまとめてサービングします。
BentoML が扱うのはモデルの学習ではなくオンラインサービングです。オンラインサービングとは準備されたモデルにリクエストを送り結果を受け取る仕組みであり、このリポジトリはその領域に API とサービング最適化を足しています。オープンソースのモデルでも独自のモデルでも、読み込んで推論結果を返すエンドポイントとして公開し、複数のモデルを 1 つのサービスにまとめるマルチモデルサービングを実現します。動的バッチング（dynamic batching）は溜まったリクエストをまとめて一度に処理する方法で、モデル並列化（model parallelism）は 1 つのモデルを複数のデバイスに分けて動かす方法です。さらに複数の段階を順につなぐ多段階パイプラインも含みます。デプロイは Docker コンテナで直接行うか BentoCloud に任せられます。ライセンスは Apache-2.0、スター数は 8915 です。
ただし v1.4.39 の変更内容は確認できません。リリース番号以外に何が変わったかを示す記述も性能ベンチマークもなく、記入されている評価項目は momentum 3.1（10 点満点）のみで低めです。2019 年 4 月 2 日に作成されたプロジェクトですが、保守の頻度や実際の運用規模をこの情報から知ることはできません。変更内容が出てくる次のリリースでまた注目したいリポジトリです。