vllm-project/vllm は大規模言語モデル（LLM）の推論とサービングのためのエンジンである。最新リリースは v0.32.0 で、今回の記録においてリポジトリは正式に登録された。リポジトリの説明は高スループットとメモリ効率を掲げているが、提供された FACTS には今回のリリースの変更リストも性能測定データも含まれていない。したがって、v0.32.0 で何が変わったかは確認された事実として提示できない。
vLLM はモデルの応答を生成し、サービスとして提供するために使われる。注意力のキー・バリュー（KV）メモリをページ単位で管理する PagedAttention と、受信したリクエストを継続的にまとめて処理する方式である連続バッチ処理をサポートする。プレフィックスキャッシュと量子化、最適化されたカーネルも提供する。Hugging Face のモデルと GPU・CPU に対応し、分散推論とストリーミング出力、OpenAI 互換の API サーバー機能を備える。Python で書かれており、ライセンスは Apache-2.0 である。
記録には、MI355X(gfx950) で Kimi-K3 と Qwen3.8 の性能を最適化する作業が 10 月初頭から続いていると記されている。雙方向 KV 転送機能は 5~6 月にすでにマージされた機能であり、今回のリリースの変更とみなすことはできない。vLLM が推論とサービングを幅広くサポートしていることは確認できるが、提供された資料だけでは v0.32.0 の改善内容や性能の変化を判断しづらい。