github.devotd.
新着推論・サービング

google-ai-edge/litert v2.3.0 — オンデバイス ML・GenAI デプロイフレームワーク

google-ai-edge/litert(LiteRT)は Google が TensorFlow Lite を継承したオンデバイス ML・GenAI デプロイフレームワークで、最新リリースは v2.3.0 である。

リポジトリ情報google-ai-edge/litert ↗

google-ai-edge/litert(LiteRT)は Google が TensorFlow Lite を継承したオンデバイス ML・GenAI デプロイフレームワークで、最新リリースは v2.3.0 である。

GitHub の説明: google-ai-edge/litert

スター
★ 3.5K
フォーク
0
言語
C++
原文を見る ↗GitHub で見る ↗

google-ai-edge/litert(LiteRT)は Google が TensorFlow Lite を継承したオンデバイス ML・GenAI デプロイフレームワークである。モデル変換・ランタイム・最適化を一つの流れにまとめ、エッジデバイスで機械学習と生成 AI を動かす。このリポジトリの最新リリースは v2.3.0 で、出典は GitHub リポジトリ google-ai-edge/litert である。ただし提示された記録には v2.3.0 のリリースノートの内容が含まれておらず、このバージョンで変更された項目は不明である。

このフレームワークはオンデバイス AI 向けの軽量推論ランタイムであり、モバイル・エッジでの GPU・NPU(ニューラルプロセッサユニット)アクセラレーションとモデル実行のために一貫した API を提供する。C++ で書かれ、Apache-2.0 ライセンスで公開されている。CPU 実行と GPU・NPU アクセラレーションを併せてサポートし、Compiled Model API を提供し、LiteRT-LM と LiteRT.js を通じてオンデバイスと Web の推論経路を示す。リポジトリのスター数は 3507 である。

判断材料は不足している。記録には性能ベンチマークやモデルごとの実行時間・メモリ数の数値がない。スコアは 10 点満点のうちモメンタム 2.8 のみが埋まっており、鮮度・技術・品質の各項目は空欄である。プロジェクトは 2024 年 9 月 4 日に作成されたもので、成熟度や活動規模を測る根拠は乏しい。v2.3.0 の変更内容を知るにはリリースノートを直接読む必要があり、実際の導入事例を確認するまで候補として留めるのが妥当である。