github.devotd.

組込みデバイス推論

マイクロコントローラ、スマートフォン、ゲームコンソール、その他のリソース受限デバイス向けの軽量推論ランタイム。フルサーバークラスタとローカルモデル実行を伴わない汎用組込みエージェントフレームワークは含まない。

この分野のプロジェクト (1)
プロジェクト用途スター言語ライセンス最新リリース
andrei-borcea/liyabRAM より大きい GGUF モデルをフラッシュからストリーミングし、熱状態に合わせてスマホで実行します。★ 7C++Apache-2.0—