google-ai-edge/litert-lm

google-ai-edge/litert-lm v0.18.0 是 Google 的开源推理框架，支持在 LiteRT 之上把 LLM 运行在边缘设备和多个平台上。

GitHub 项目说明: LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

星标

★ 6.7K

复刻

762

语言

C++

许可证

Apache-2.0

最新版本

v0.18.1