mlc-ai/mlc-llm

mlc-ai/mlc-llm は、複数の実行環境で大規模言語モデルをコンパイルして実行するためのエンジンと API を提供します。

GitHub の説明: Universal LLM Deployment Engine with ML Compilation

スター

★ 23.3K

フォーク

2.2K

言語

Python

ライセンス

Apache-2.0