bentoml/bentoml은 AI 앱과 모델을 API로 만들어 배포하는 Python 프레임워크다. 최신 릴리스는 v1.4.39이며, 이 저장소는 모델 추론 API와 잡 큐(job queue), LLM 앱, 여러 모델을 잇는 파이프라인을 하나의 서비스로 묶어 서빙한다.
BentoML이 다루는 구간은 모델 학습이 아니라 온라인 서빙이다. 온라인 서빙은 준비된 모델에 요청을 보내 결과를 받는 방식이며, 이 저장소는 그 구간에 API와 서빙 최적화를 붙인다. 오픈소스든 자체 모델이든 불러와 추론 결과를 반환하는 엔드포인트로 노출하고, 여러 모델을 하나의 서비스로 묶는 멀티모델 서빙을 만든다. 동적 배칭(dynamic batching)은 몰린 요청을 한 번에 처리하는 방식이고, 모델 병렬화(model parallelism)는 하나의 모델을 여러 장치에 나눠 올리는 방식이다. 여기에 여러 단계를 차례로 잇는 다단계 파이프라인까지 들어간다. 배포는 Docker 컨테이너로 직접 올리거나 BentoCloud에 맡길 수 있고, 라이선스는 Apache-2.0이며 별 수는 8915다.
다만 v1.4.39의 변경 내역은 확인할 수 없다. 릴리스 번호 외에 무엇이 개선됐는지나 성능 벤치마크가 없고, 채워진 점수 항목은 momentum 3.1(10점 만점) 하나로 낮다. 2019년 4월 2일에 만들어진 프로젝트지만 유지 주기도 실제 운영 규모도 이 정보로는 알 수 없다. 변경 내역이 나오는 다음 릴리스에서 다시 볼 만한 저장소다.