bentoml/bentoml

bentoml/bentoml は AI アプリとモデルを API 化してデプロイする Python フレームワークで、最新リリースは v1.4.39 です。動的バッチングやモデル並列化などのサービング最適化機能を提供します。

GitHub の説明: The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

スター

★ 8.9K

フォーク

1K

言語

Python

ライセンス

Apache-2.0

最新リリース

v1.4.39