Devotd Github
新发现推理与服务

alibaba/mnn — 面向移动与嵌入式设备的轻量推理框架

alibaba/mnn 是一款轻量级深度学习框架,支持在移动和嵌入式设备上进行模型推理与训练。

仓库信息alibaba/mnn ↗

alibaba/mnn 是一款轻量级深度学习框架,支持在移动和嵌入式设备上进行模型推理与训练。

GitHub 项目说明: MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

星标
★ 16.3K
复刻
2.5K
语言
C++
许可证
Apache-2.0
最新版本
3.6.1
查看原始来源 ↗在 GitHub 查看 ↗

alibaba/mnn 的最新版本是 3.6.1。MNN 是一款针对移动和嵌入式设备优化的轻量级深度学习框架,支持模型推理与训练。3.6.1 中具体变更的内容在所提供的资料里没有提及,因此无法确定。从仓库说明和 README 来看,核心在于支持多种模型与运算环境,从而在设备端完成推理。

README 说明支持 Tensorflow、Caffe、ONNX、Torchscripts 模型,以及 CNN、RNN、GAN、Transformer。它还支持 CPU 与 GPU 搭配使用的混合运算。MNN-LLM 是基于 MNN 的大规模语言模型运行时,MNN-Diffusion 是 Stable Diffusion 模型运行时。它还提供模型转换、压缩与训练工具。研究资料介绍了通过 Android 应用以及 CPU、GPU、Hexagon 等后端支持终端侧 LLM 与多模态推理。实现语言为 C++,许可证为 Apache-2.0。

所提供的资料中没有 3.6.1 的变更记录,也没有性能基准测试。因此支持范围可以确认,但在特定设备与模型上的性能,以及本次版本的具体改进点,仅凭这些资料难以判断。