google-ai-edge/litert(LiteRT)是 Google 承接 TensorFlow Lite 的端侧 ML·GenAI 部署框架。它把模型转换、运行时和优化整合为一条流程,在边缘设备上运行机器学习与生成式 AI。该仓库的最新版本为 v2.3.0,来源是 GitHub 仓库 google-ai-edge/litert。不过,现有记录中没有 v2.3.0 的发布说明,因此本次版本有哪些改动并不清楚。
该框架是面向端侧 AI 的轻量推理运行时,为移动端和边缘设备上的 GPU·NPU(神经处理单元)加速与模型执行提供一致的 API。它使用 C++ 编写,并以 Apache-2.0 许可证发布。它同时支持 CPU 执行与 GPU·NPU 加速,提供 Compiled Model API,并通过 LiteRT-LM 与 LiteRT.js 指引端侧与 Web 的推理路径。该仓库的 Star 数为 3507。
判断依据不足。记录中没有性能基准测试,也没有各模型的运行时间与内存数值。评分中只有动量一项为 10 分制下的 2.8,新鲜度、技术、质量各项均为空。该项目创建于 2024 年 9 月 4 日,因此在成熟度和活动规模方面可供衡量依据有限。v2.3.0 的改动内容必须直接阅读发布说明才能了解,在确认实际部署案例之前,将其仅列为候选更为妥当。