github.devotd.
새 소식추론/서빙

google-ai-edge/litert v2.3.0 — 온디바이스 ML·GenAI 배포 프레임워크

google-ai-edge/litert(LiteRT)는 TensorFlow Lite를 계승한 Google의 온디바이스 ML·GenAI 배포 프레임워크로, 최신 릴리스는 v2.3.0이다.

저장소 정보google-ai-edge/litert ↗

google-ai-edge/litert(LiteRT)는 TensorFlow Lite를 계승한 Google의 온디바이스 ML·GenAI 배포 프레임워크로, 최신 릴리스는 v2.3.0이다.

GitHub 설명: google-ai-edge/litert

스타
★ 3.5K
포크
0
언어
C++
원문 보기 ↗GitHub에서 보기 ↗

google-ai-edge/litert(LiteRT)는 TensorFlow Lite를 계승한 Google의 온디바이스 ML·GenAI 배포 프레임워크다. 모델 변환과 런타임, 최적화를 하나의 흐름으로 묶어 엣지 기기에서 머신러닝과 생성형 AI를 구동한다. 이 저장소의 최신 릴리스는 v2.3.0이며, 출처는 GitHub 저장소 google-ai-edge/litert다. 다만 주어진 기록에는 v2.3.0의 릴리스 노트 내용이 없어, 이번 버전에서 바뀐 항목은 알려지지 않는다.

이 프레임워크는 모바일·엣지에서 GPU·NPU(신경처리장치) 가속과 모델 실행을 위한 일관된 API를 제공하는 온디바이스 AI용 경량 추론 런타임이다. C++로 작성됐고 Apache-2.0 라이선스로 공개됐다. CPU 실행과 GPU·NPU 가속을 함께 지원하며, Compiled Model API를 제공하고 LiteRT-LM과 LiteRT.js를 통해 온디바이스와 웹의 추론 경로를 안내한다. 저장소의 스타 수는 3507개다.

판단할 근거는 부족하다. 기록에는 성능 벤치마크나 모델별 실행 시간·메모리 수치가 없다. 점수도 10점 만점 기준 모멘텀 2.8만 채워져 있고 신선도·기술·품질 항목은 비어 있다. 2024년 9월 4일 생성된 프로젝트라, 성숙도와 활동 규모를 가늠할 근거는 얕다. v2.3.0의 변경 내용은 릴리스 노트를 직접 읽어야 알 수 있고, 실제 배포 사례까지 확인하기 전까지는 후보로만 두는 편이 맞다.