組込みデバイス推論
マイクロコントローラ、スマートフォン、ゲームコンソール、その他のリソース受限デバイス向けの軽量推論ランタイム。フルサーバークラスタとローカルモデル実行を伴わない汎用組込みエージェントフレームワークは含まない。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| andrei-borcea/liyab | RAM より大きい GGUF モデルをフラッシュからストリーミングし、熱状態に合わせてスマホで実行します。 | ★ 7 | C++ | Apache-2.0 | — |
マイクロコントローラ、スマートフォン、ゲームコンソール、その他のリソース受限デバイス向けの軽量推論ランタイム。フルサーバークラスタとローカルモデル実行を伴わない汎用組込みエージェントフレームワークは含まない。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| andrei-borcea/liyab | RAM より大きい GGUF モデルをフラッシュからストリーミングし、熱状態に合わせてスマホで実行します。 | ★ 7 | C++ | Apache-2.0 | — |