google-ai-edge/litert-lm

google-ai-edge/litert-lm v0.18.0 は Google のオープンソース推論フレームワークで、LiteRT の上で LLM をエッジデバイスおよび複数のプラットフォームで実行 Stuff する。

GitHub の説明: LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

スター

★ 6.7K

フォーク

762

言語

C++

ライセンス

Apache-2.0

最新リリース

v0.18.1