github.devotd.
새 소식추론/서빙

google-ai-edge/litert-lm v0.18.0 — 엣지 LLM 추론 런타임

google-ai-edge/litert-lm v0.18.0은 LiteRT 위에서 LLM을 엣지 기기와 여러 플랫폼에 실행하도록 지원하는 Google's 오픈소스 추론 프레임워크다.

저장소 정보google-ai-edge/litert-lm ↗

google-ai-edge/litert-lm v0.18.0은 LiteRT 위에서 LLM을 엣지 기기와 여러 플랫폼에 실행하도록 지원하는 Google's 오픈소스 추론 프레임워크다.

GitHub 설명: LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

스타
★ 6.7K
포크
762
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.18.1
원문 보기 ↗GitHub에서 보기 ↗

google-ai-edge/litert-lm(LiteRT-LM)은 Google의 오픈소스 추론 프레임워크로, 큰 언어 모델(LLM)을 엣지 기기에 배포하기 위한 프로젝트다. 저장소 설명은 이 프레임워크를 프로덕션에 사용할 수 있는 형태로 밝힌다. 이 저장소의 최신 릴리스는 v0.18.0이고, 출처는 GitHub의 google-ai-edge/litert-lm 저장소다.

LiteRT-LM은 LiteRT를 이용해 LLM을 여러 플랫폼에서 돌리는 Google의 오케스트레이션 계층(실행 흐름을 관리하는 중간 계층)이다. README는 Android·iOS·웹·데스크톱·IoT를 지원하고 GPU·NPU 가속, 비전·오디오 입력, 함수 호출 기능을 제공한다고 설명한다. Android·iOS·IoT·Raspberry Pi에서 로컬 언어·비전·음성 추론을 지원하는 것도 이 범위에 든다. 구현 언어는 C++이고 라이선스는 Apache-2.0이다. GitHub 스타는 6700개다.

다만 판단에 쓸 근거는 얇다. 주어진 기록에는 v0.18.0의 릴리스 노트가 없어 이번 버전에서 바뀐 항목은 알려지지 않는다. 성능 벤치마크도 모델별 실행 시간이나 메모리 수치도 없고, 점수는 10점 만점 기준 모멘텀 2.8만 채워져 있으며 참신성·기술·품질 항목은 비어 있다. 저장소 생성일은 2025년 4월 14일로 역사가 길지 않다. 릴리스 노트와 실제 배포 사례를 직접 확인하기 전까지는 채택 근거로 삼기 어렵다.