vllm-project/vllm은 대규모 언어 모델(LLM)의 추론과 서빙을 위한 엔진이다. 최신 릴리스는 v0.32.0이며, 이번 기록에서 저장소가 정식으로 등록됐다. 저장소 설명은 고처리량과 메모리 효율을 내세우지만, 제공된 FACTS에는 이번 릴리스의 변경 목록이나 성능 측정치가 없다. 따라서 v0.32.0에서 무엇이 달라졌는지는 확인된 사실로 제시할 수 없다.
vLLM은 모델의 응답을 만들고 서비스로 제공하는 데 쓰인다. 어텐션 키·값(KV) 메모리를 페이지 단위로 관리하는 PagedAttention과 연속 배칭을 지원하며, 연속 배칭은 들어온 요청을 계속 묶어 처리하는 방식이다. 프리픽스 캐싱과 양자화, 최적화된 커널도 제공한다. Hugging Face 모델과 GPU·CPU를 지원하고, 분산 추론과 스트리밍 출력, OpenAI 호환 API 서버 기능도 갖췄다. Python으로 작성됐으며 Apache-2.0 라이선스다.
기록에는 MI355X(gfx950)에서 Kimi-K3와 Qwen3.8의 성능을 최적화하는 작업이 10월 초부터 이어지고 있다고 적혀 있다. 양방향 KV 전송 기능은 5~6월에 이미 합류한 기능으로, 이번 릴리스의 변경으로 볼 수는 없다. vLLM이 추론과 서빙을 폭넓게 지원한다는 점은 확인되지만, 제공된 자료만으로는 v0.32.0의 개선 내용이나 성능 변화를 판단하기 어렵다.