github.devotd.
新发现推理与服务

ipads-sai/mobiinfer-android — 面向骁龙 NPU 的端侧 MoE

ipads-sai/mobiinfer-android 是一个 C++ 安卓仓库,可在 Qualcomm Hexagon NPU 上端侧运行 35B-A3B 级 MoE 模型。

仓库信息ipads-sai/mobiinfer-android ↗

MobiInfer runs 35B-A3B-class MoE models fully on-device on the Qualcomm Hexagon NPU, streaming experts from flash with lookahead scheduling (LES) and DSpark speculation.

星标
★ 16
复刻
1
语言
C++
许可证
MIT
最新版本
v0.1-alpha
查看原始来源 ↗在 GitHub 查看 ↗

ipads-sai/mobiinfer-android 是一个 C++ 安卓仓库,可在骁龙手机的 Qualcomm Hexagon NPU 上端侧运行 35B-A3B 级 MoE 模型。最新版本是 v0.1-alpha,所提供的信息中没有该版本的具体变更清单。项目以 MIT 许可证发布。

该实现把专家权重放在闪存中,只按需流式读取数据,从而不必把整个模型载入内存。LES(lookahead scheduling)预先规划接下来要读取的数据,以掩盖存储延迟,并应用 DSpark 推测执行。根据仓库说明,它基于从 llama.cpp-omni 引入的 Hexagon NPU 后端,包含向量运算器张量核心、闪存注意力、门控 delta net、直接内存访问队列以及多设备划分。逐层混合精度量化与把专家重新排列为连续存放,是用于减少存储端分散读取的配置。安装形态是仓库中自带的安卓应用。

不过,所提供的信息中没有性能数值或基准测试,因此无法判断实际推理速度以及存储瓶颈缓解了多少。v0.1-alpha 所呈现的是在骁龙 NPU 上的执行结构与功能集,证明性能的数据尚未确认。