ipads-sai/mobiinfer-android 是一个 C++ 安卓仓库,可在骁龙手机的 Qualcomm Hexagon NPU 上端侧运行 35B-A3B 级 MoE 模型。最新版本是 v0.1-alpha,所提供的信息中没有该版本的具体变更清单。项目以 MIT 许可证发布。
该实现把专家权重放在闪存中,只按需流式读取数据,从而不必把整个模型载入内存。LES(lookahead scheduling)预先规划接下来要读取的数据,以掩盖存储延迟,并应用 DSpark 推测执行。根据仓库说明,它基于从 llama.cpp-omni 引入的 Hexagon NPU 后端,包含向量运算器张量核心、闪存注意力、门控 delta net、直接内存访问队列以及多设备划分。逐层混合精度量化与把专家重新排列为连续存放,是用于减少存储端分散读取的配置。安装形态是仓库中自带的安卓应用。
不过,所提供的信息中没有性能数值或基准测试,因此无法判断实际推理速度以及存储瓶颈缓解了多少。v0.1-alpha 所呈现的是在骁龙 NPU 上的执行结构与功能集,证明性能的数据尚未确认。