github.devotd.
新发现推理与服务

vllm-project/vllm-ascend v0.23.0.post1 — 面向 Ascend NPU 的 vLLM 插件

vllm-project/vllm-ascend 是一个由社区维护的硬件插件,用于在华为 Ascend NPU 上运行 vLLM。

仓库信息vllm-project/vllm-ascend ↗

Community maintained hardware plugin for vLLM on Huawei Ascend

星标
★ 3K
复刻
2.5K
语言
Python
许可证
Apache-2.0
最新版本
v0.23.0.post1
查看原始来源 ↗在 GitHub 查看 ↗

vllm-project/vllm-ascend 是一个由社区维护的硬件插件,用于在华为 Ascend NPU 上运行 vLLM。仓库中显示的最新版本是 v0.23.0.post1。所提供的信息没有列出该版本新增或变更的内容,因此仅凭版本号无法断定变更内容。

该项目的目的是提供硬件插件,使 vLLM 能够在 Ascend NPU 上使用。README 摘要将其介绍为 vLLM 社区中支持 Ascend 后端的推荐方式。也就是说,该仓库所关注的重点是面向 Ascend 的 vLLM 支持。它是独立于 vLLM 本身、面向 Ascend 硬件的插件,这说明了这个项目的定位。实现语言为 Python,许可证为 Apache-2.0。

可以确认的范围仅限于仓库说明、README 摘要、语言与许可证以及最新版本标注。所提供的事实中没有 v0.23.0.post1 的具体变更记录,也没有各模型的性能数据。因此,无法从中判断该版本在各模型上的表现程度,也无法判断相比之前版本有什么改进。将其理解为面向使用 Ascend NPU 的 vLLM 环境的项目是合适的。