ipads-sai/mobiinfer-android는 스냅드래곤 폰의 Qualcomm Hexagon NPU에서 35B-A3B급 MoE 모델을 온디바이스로 실행하는 C++ 안드로이드 저장소다. 최신 릴리스는 v0.1-alpha이며, 제공된 정보에는 이 버전의 구체적인 변경 목록이 없다. MIT 라이선스로 공개됐다.
이 구현은 전문가 가중치를 플래시에 두고 필요한 데이터를 스트리밍해, 모델 전체를 메모리에 올리지 않는 방식이다. LES(lookahead scheduling)는 앞서 읽을 데이터를 계획해 저장장치 지연을 감추고, DSpark speculation을 적용한다. 저장소 설명에 따르면 llama.cpp-omni에서 가져온 Hexagon NPU 백엔드를 기반으로 벡터 연산기 텐서 코어, 플래시 어텐션, 게이트된 델타 넷, 직접 메모리 접근 큐와 다중 장치 분할을 포함한다. 층별 혼합 정밀도 양자화와 전문가 연속 재배치는 저장장치의 분산 읽기를 줄이기 위한 구성이다. 설치 형태는 저장소에 포함된 안드로이드 앱이다.
다만 제공된 정보에는 성능 수치나 벤치마크가 없어 실제 추론 속도와 저장장치 병목 완화 정도를 판단할 수 없다. v0.1-alpha가 제시하는 것은 스냅드래곤 NPU에서의 실행 구조와 기능이며, 성능을 입증하는 수치는 아직 확인되지 않는다.