github.devotd.
新发现推理与服务

paddlepaddle/paddle-lite — 面向移动端与边缘的推理引擎

paddlepaddle/paddle-lite 是一个轻量级推理框架,可在移动端、嵌入式和边缘设备上运行并优化 PaddlePaddle 模型。

仓库信息paddlepaddle/paddle-lite ↗

paddlepaddle/paddle-lite 是一个轻量级推理框架,可在移动端、嵌入式和边缘设备上运行并优化 PaddlePaddle 模型。

GitHub 项目说明: PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎)

星标
★ 7.3K
复刻
1.6K
语言
C++
许可证
Apache-2.0
最新版本
v2.14-rc
查看原始来源 ↗在 GitHub 查看 ↗

paddlepaddle/paddle-lite 是一个轻量级深度学习推理框架,可在移动端、嵌入式和边缘设备上运行 PaddlePaddle 模型。FACTS 中记载的最新版本是 v2.14-rc。但所提供的资料未说明该版本发生了哪些变化,因此无法确定具体改动内容。仓库描述将其介绍为支持多种硬件平台的引擎。

该项目同时提供了模型部署到设备上所需的转换与运行路径。opt 工具通过量化、子图融合和内核选择来优化模型。量化是改变模型数值表示的方式,子图融合则是把多个运算合并在一起的优化。PaddlePaddle 模型格式可直接支持,其他框架的模型可以通过 X2Paddle 转换为 PaddlePaddle 格式。它提供 C++、Java 和 Python API 作为运行接口,并包含多个平台的使用示例。仓库语言为 C++,许可证为 Apache-2.0。

该仓库创建于 2017-09-20,目前有 7289 个 star。流水线中的 momentum 分数为 1.1/10,新技术、技术性和质量分数均未提供。所提供的事实中没有性能数据,也没有与其他推理引擎的对比。因此可以确认存在这样的优化工具,但实际性能收益或 v2.14-rc 的具体变化,仅凭这份资料无法判断。