mlc-ai/mlc-llm

mlc-ai/mlc-llm은 여러 실행 환경에서 대규모 언어 모델을 컴파일하고 실행하는 엔진과 API를 제공한다.

GitHub 설명: Universal LLM Deployment Engine with ML Compilation

스타

★ 23.3K

포크

2.2K

언어

Python

라이선스

Apache-2.0