github.devotd.
新发现推理与服务

google-ai-edge/litert v2.3.0 — 端侧 ML·GenAI 部署框架

google-ai-edge/litert(LiteRT)是 Google 承接 TensorFlow Lite 的端侧 ML·GenAI 部署框架,最新版本为 v2.3.0。

仓库信息google-ai-edge/litert ↗

google-ai-edge/litert(LiteRT)是 Google 承接 TensorFlow Lite 的端侧 ML·GenAI 部署框架,最新版本为 v2.3.0。

GitHub 项目说明: LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization

星标
★ 3.5K
复刻
477
语言
C++
许可证
Apache-2.0
最新版本
v2.3.0
查看原始来源 ↗在 GitHub 查看 ↗

google-ai-edge/litert(LiteRT)是 Google 承接 TensorFlow Lite 的端侧 ML·GenAI 部署框架。它把模型转换、运行时和优化整合为一条流程,在边缘设备上运行机器学习与生成式 AI。该仓库的最新版本为 v2.3.0,来源是 GitHub 仓库 google-ai-edge/litert。不过,现有记录中没有 v2.3.0 的发布说明,因此本次版本有哪些改动并不清楚。

该框架是面向端侧 AI 的轻量推理运行时,为移动端和边缘设备上的 GPU·NPU(神经处理单元)加速与模型执行提供一致的 API。它使用 C++ 编写,并以 Apache-2.0 许可证发布。它同时支持 CPU 执行与 GPU·NPU 加速,提供 Compiled Model API,并通过 LiteRT-LM 与 LiteRT.js 指引端侧与 Web 的推理路径。该仓库的 Star 数为 3507。

判断依据不足。记录中没有性能基准测试,也没有各模型的运行时间与内存数值。评分中只有动量一项为 10 分制下的 2.8,新鲜度、技术、质量各项均为空。该项目创建于 2024 年 9 月 4 日,因此在成熟度和活动规模方面可供衡量依据有限。v2.3.0 的改动内容必须直接阅读发布说明才能了解,在确认实际部署案例之前,将其仅列为候选更为妥当。