Devotd Github
릴리스추론/서빙

google-ai-edge/litert-lm v0.19.0 — GPU 제약 디코딩과 웹 SDK 추가

google-ai-edge/litert-lm v0.19.0의 로그잇 마스킹, 이미지·음성 입력 웹 SDK, 음성 모델 지원과 C API 변경을 다룬다.

저장소 정보google-ai-edge/litert-lm ↗

google-ai-edge/litert-lm v0.19.0의 로그잇 마스킹, 이미지·음성 입력 웹 SDK, 음성 모델 지원과 C API 변경을 다룬다.

GitHub 설명: LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

스타
★ 6.8K
포크
773
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.19.0
원문 보기 ↗GitHub에서 보기 ↗

google-ai-edge/litert-lm v0.19.0은 GPU 제약 디코딩용 로그잇 마스킹, 이미지·음성 입력을 지원하는 웹 SDK, 여러 음성 모델 지원을 더했다. 이 프로젝트는 대규모 언어 모델을 엣지 기기에 배포하는 Google의 오픈소스 추론 프레임워크다. 변경 내용의 출처는 GitHub 저장소의 v0.19.0 릴리스다. 이번 업데이트는 디코딩 기능과 입력 경로, 음성 모델 지원을 함께 다룬다.

로그잇 마스킹은 GPU 제약 디코딩에 추가됐고, 웹 SDK는 이미지와 음성 입력을 지원한다. 여기에 여러 음성 모델 지원이 더해져 릴리스의 변경 범위는 웹 입력과 음성 모델까지 이어진다. 이는 단순히 추론 프레임워크의 버전 번호를 올린 변경이 아니라, 릴리스 요약에 명시된 기능과 API 변경을 함께 포함한다. 다만 각 기능의 구체적인 동작 조건이나 지원 모델 목록은 주어진 릴리스 정보에 제시되지 않았다.

이번 릴리스에는 C API 1.0.0의 호환성 중단 변경도 포함된다. 실패할 수 있는 함수의 반환 형식과 내보내는 기호가 바뀌므로, C API를 사용하는 기존 코드에는 호환성 영향이 생길 수 있다. 성능 수치나 모델별 메모리 사용량은 주어진 정보에 없다. 따라서 이번 버전에서 확인되는 것은 기능 추가와 C API 변경이며, 실제 성능 개선의 폭까지 판단할 근거는 없다.