github.devotd.
新发现推理与服务

google/xnnpack — 面向 ARM·x86·WebAssembly·RISC-V 的 SIMD 推理内核

google/xnnpack 是一个底层 C 库,通过优化 ARM、x86、WebAssembly、RISC-V 上的浮点神经网络推理运算,加速 TensorFlow Lite、PyTorch 等上层框架。

仓库信息google/xnnpack ↗

google/xnnpack 是一个底层 C 库,通过优化 ARM、x86、WebAssembly、RISC-V 上的浮点神经网络推理运算,加速 TensorFlow Lite、PyTorch 等上层框架。

GitHub 项目说明: High-efficiency floating-point neural network inference operators for mobile, server, and Web

星标
★ 2.5K
复刻
574
语言
C
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

google/xnnpack 是一个底层 C 库,用于在移动端、服务器和 Web 环境中高速处理浮点神经网络推理算子。本次考察的对象是 GitHub 仓库本身,所提供的记录中没有发布版本和变更历史。

该库名为 XNNPACK。它在 ARM、x86、WebAssembly、RISC-V 四个平台上优化神经网络推理。它为每个架构分别保留 SIMD(将多个运算作为一组处理的指令集)内核,使同一个模型运算也能走与硬件相匹配的路径执行。它提供支撑 TensorFlow Lite、TensorFlow.js、PyTorch、ONNX Runtime、ExecuTorch、MediaPipe 等上层机器学习框架运行的底层性能原语。README 中说明该库并不是深度学习从业者或研究者直接使用的工具。它不是用于挑选模型的库,而是加速已选定模型执行路径的一层。仓库始于 2019 年 9 月 13 日,星标数为 2482。

不过,其中未经验证的部分很多。许可证字段仍为 NOASSERTION,因此无法得知具体的使用条件。资料中也没有其自身性能对比的数值,研究记录中的动量指标为 10 分制下的 2.1,偏低。在许可证条款和自身验证数据得到确认之前,很难把这一仓库作为采纳依据。