vllm-project/vllm

vllm-project/vllm의 최신 릴리스 v0.32.0과 저장소에 기록된 최적화 작업 및 기능을 살펴본다.

GitHub 설명: A high-throughput and memory-efficient inference and serving engine for LLMs

스타

★ 95.8K

포크

24.1K

언어

Python

라이선스

Apache-2.0

최신 릴리스

v0.32.0