Devotd Github
新着推論・サービング

alibaba/mnn — モバイル・組み込み向け軽量推論フレームワーク

alibaba/mnn は、モバイルおよび組み込みデバイスでモデル推論と学習をサポートする軽量なディープラーニングフレームワークだ。

リポジトリ情報alibaba/mnn ↗

alibaba/mnn は、モバイルおよび組み込みデバイスでモデル推論と学習をサポートする軽量なディープラーニングフレームワークだ。

GitHub の説明: MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

スター
★ 16.3K
フォーク
2.5K
言語
C++
ライセンス
Apache-2.0
最新リリース
3.6.1
原文を見る ↗GitHub で見る ↗

alibaba/mnn の最新リリースは 3.6.1 である。MNN はモバイルと組み込みデバイスに最適化された軽量ディープラーニングフレームワークで、モデル推論と学習をサポートする。3.6.1 で変更された内容については提供された資料にないため特定できない。リポジトリの説明と README によると、核心は複数のモデルと演算環境をサポートし、端末上で推論を実行することにある。

README では Tensorflow、Caffe、ONNX、Torchscripts のモデルと、CNN、RNN、GAN、Transformer に対応していると説明している。CPU と GPU を併用するハイブリッド演算にも対応する。MNN-LLM は MNN ベースの大規模言語モデルランタイムであり、MNN-Diffusion は Stable Diffusion モデルランタイムである。モデル変換・圧縮・学習のツールも提供する。研究資料では、Android アプリや CPU・GPU・Hexagon などのバックエンドを介した端末 LLM・マルチモーダル推論のサポートが紹介されている。実装言語は C++、ライセンスは Apache-2.0 である。

提供された資料には 3.6.1 の変更履歴も性能ベンチマークもない。そのためサポート範囲は確認できるが、特定のデバイスやモデルにおける性能や、今回のリリースの具体的な改善点は、この資料だけでは判断しにくい。