Devotd Github

vllm-project/vllm

vllm-project/vllm の最新リリース v0.32.0 と、リポジトリに記録された最適化作業や機能を見ていく。

GitHub の説明: A high-throughput and memory-efficient inference and serving engine for LLMs

GitHub で見る ↗
スター
★ 95.8K
フォーク
24.1K
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.32.0

投稿

1