ipads-sai/mobiinfer-android

MobiInfer runs 35B-A3B-class MoE models fully on-device on the Qualcomm Hexagon NPU, streaming experts from flash with lookahead scheduling (LES) and DSpark speculation.

スター

★ 16

フォーク

1

言語

C++

ライセンス

MIT

最新リリース

v0.1-alpha