ipads-sai/mobiinfer-android は、Snapdragon のスマートフォンにおける Qualcomm Hexagon NPU で 35B-A3B 級の MoE モデルをオンデバイス実行する C++ の Android リポジトリです。最新リリースは v0.1-alpha で、提供された情報にはこのバージョンの具体的な変更一覧はありません。MIT ライセンスで公開されています。
この実装は expert の重みをフラッシュに置き、必要なデータをストリーミングして、モデル全体をメモリに載せません。LES（lookahead scheduling）は次に読むデータを事前に計画してストレージの遅延を隠し、DSpark speculation を適用します。リポジトリの説明によると、llama.cpp-omni から取り込んだ Hexagon NPU バックエンドをベースに、ベクタ演算器テンソルコア、フラッシュアテンション、ゲート付きデルタネット、直接メモリアクセスキュー、マルチデバイス分割を含みます。層ごとの混合精度量子化と expert を連続配置へ並べ替える処理は、ストレージの分散した読み取りを減らすための構成です。インストール形態はリポジトリに含まれる Android アプリです。
ただし、提供された情報には性能数値やベンチマークがないため、実際の推論速度やストレージのボトルネックがどれだけ緩和されたかは判断できません。v0.1-alpha が示しているのは Snapdragon NPU での実行構造と機能であり、性能を裏づける数値はまだ確認されていません。