Devotd Github
新发现推理与服务

devjeonghwan/vllm-for-rtx-spark v0.1.1 — 面向 RTX Spark 的 vLLM 构建

devjeonghwan/vllm-for-rtx-spark 介绍了在运行 Windows ARM64 的 RTX Spark 上运行基于 vLLM 的 Qwen3.8-Flash-Next-FP4-Local 的构建与配置步骤。

仓库信息devjeonghwan/vllm-for-rtx-spark ↗

devjeonghwan/vllm-for-rtx-spark 介绍了在运行 Windows ARM64 的 RTX Spark 上运行基于 vLLM 的 Qwen3.8-Flash-Next-FP4-Local 的构建与配置步骤。

星标
★ 6
复刻
0
语言
Python
许可证
Apache-2.0
最新版本
v0.1.1
查看原始来源 ↗在 GitHub 查看 ↗

devjeonghwan/vllm-for-rtx-spark 是一个仓库,整理了如何在运行 Windows ARM64 的英伟达 RTX Spark 上构建 vLLM 并运行 Qwen3.8-Flash-Next-FP4-Local。最新版本是 v0.1.1。所提供的资料中没有该版本的变更记录,因此无法确认本次发布有哪些变化。

该仓库涵盖的配置是:RTX Spark N1X、96 GB 显存、32 GB CPU 内存以及 NVMe 存储。它以另一个仓库的 Qwen3.8-Flash-Next 配方和 vLLM 0.32.0 为出发点。仓库还介绍了安装与运行流程、按内存划分的配置文件,以及直接构建 vLLM 组件的方法。README 中有一份针对 DGX Spark 和 llama.cpp 的性能对比表,其中基于同一配方的 llama.cpp 数值由英伟达公开。该表比较的是代码解码吞吐量与整体生成时间。

因此,这份性能表更适合作为该配方与所比较项目的信息来理解。FACTS 中并未给出显示其他配置下性能或适用范围的资料。此外,v0.1.1 的具体变更点也未提供,因此难以判断该版本本身新增了哪些功能。如果你想在 Windows ARM64 上构建 vLLM,可以参考其中的步骤,但目前没有足够依据把性能结果原样套用到其他环境。