google-ai-edge/litert-lm(LiteRT-LM)是 Google 的开源推理框架,是一个用于将大语言模型(LLM)部署到边缘设备上的项目。仓库说明称该框架已具备可用于生产的形态。该仓库的最新发布版本是 v0.18.0,出处是 GitHub 上的 google-ai-edge/litert-lm 仓库。
LiteRT-LM 是 Google 的编排层(管理执行流程的中间层),借助 LiteRT 在多个平台上运行 LLM。README 说明它支持 Android、iOS、网页、桌面和 IoT,并提供 GPU·NPU 加速、视觉·音频输入以及函数调用功能。支持在 Android、iOS、IoT 和 Raspberry Pi 上进行本地语言、视觉和语音推理也属于这一范围。实现语言为 C++,许可证为 Apache-2.0。GitHub 星标数为 6700。
不过可用于判断的依据很有限。所给记录中没有 v0.18.0 的发布说明,因此本次版本改动了哪些内容无从得知。既没有性能基准测试,也没有各模型的运行时间或内存数值,评分只达到 10 分制中的动量 2.8,而创新性、技术与质量项目均为空。仓库创建于 2025 年 4 月 14 日,历史并不长。在直接核实发布说明和实际部署案例之前,很难把它当作采纳的依据。