github.devotd.
新着推論・サービング

google-ai-edge/litert-lm v0.18.0 — エッジ LLM 推論ランタイム

google-ai-edge/litert-lm v0.18.0 は Google のオープンソース推論フレームワークで、LiteRT の上で LLM をエッジデバイスおよび複数のプラットフォームで実行 Stuff する。

リポジトリ情報google-ai-edge/litert-lm ↗

google-ai-edge/litert-lm v0.18.0 は Google のオープンソース推論フレームワークで、LiteRT の上で LLM をエッジデバイスおよび複数のプラットフォームで実行 Stuff する。

GitHub の説明: google-ai-edge/litert-lm

スター
★ 6.7K
フォーク
0
言語
C++
原文を見る ↗GitHub で見る ↗

google-ai-edge/litert-lm(LiteRT-LM)は Google のオープンソース推論フレームワークであり、大きな言語モデル(LLM)をエッジデバイスに展開するためのプロジェクトだ。リポジトリの説明は、このフレームワークがプロダクションで利用できる形になっていることを示している。このリポジトリの最新リリースは v0.18.0 で、出典は GitHub の google-ai-edge/litert-lm リポジトリである。

LiteRT-LM は LiteRT を利用して LLM を複数のプラットフォームで動かす Google のオーケストレーション層(実行フローを管理する中間層)である。README は Android・iOS・ウェブ・デスクトップ・IoT に対応し、GPU・NPU アクセラレーション、ビジョン・オーディオ入力、関数呼び出し機能を提供すると説明している。Android・iOS・IoT・Raspberry Pi でのローカルな言語・ビジョン・音声推論のsupportedも、この範囲に含まれる。実装言語は C++、ライセンスは Apache-2.0 だ。GitHub スターは 6700 個である。

ただし判断の根拠は乏しい。与えられた記録には v0.18.0 のリリースノートがないため、このバージョンで変更された項目は不明である。パフォーマンスベンチマークもモデルごとの実行タイムやメモリの数値もなく、スコアは 10 点満点基準のモメンタム 2.8 にとどまり、新しowness・技術・品質の項目は空欄だ。リポジトリの作成日は 2025 年 4 月 14 日で、歴史は長くない。リリースノートと実際の導入事例を直接確認するまで、採用の根拠にはしにくい。