bentoml/bentoml

AI 앱과 모델을 API로 만들어 배포하는 Python 프레임워크 bentoml/bentoml의 최신 릴리스가 v1.4.39이며, 동적 배칭과 모델 병렬화 등 서빙 최적화 기능을 제공한다.

GitHub 설명: The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

스타

★ 8.9K

포크

1K

언어

Python

라이선스

Apache-2.0

최신 릴리스

v1.4.39