google-ai-edge/litert-lm

google-ai-edge/litert-lm v0.18.0은 LiteRT 위에서 LLM을 엣지 기기와 여러 플랫폼에 실행하도록 지원하는 Google's 오픈소스 추론 프레임워크다.

GitHub 설명: LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

스타

★ 6.7K

포크

762

언어

C++

라이선스

Apache-2.0

최신 릴리스

v0.18.1