Devotd Github
新发现大语言模型基础设施

christopherowen/dgx-spark-networking — AllReduce 槽位限制生效

christopherowen/dgx-spark-networking 在 2026 年 11 月 1 日的提交中,将 vLLM 集成中自研的一次性 AllReduce 路径改为仅适用于不超过槽位大小的传输。

仓库信息christopherowen/dgx-spark-networking ↗

christopherowen/dgx-spark-networking 在 2026 年 11 月 1 日的提交中,将 vLLM 集成中自研的一次性 AllReduce 路径改为仅适用于不超过槽位大小的传输。

GitHub 项目说明: Switchless RoCE collectives, NCCL profiles and fabric tooling for DGX Spark inference recipes

星标
★ 31
复刻
3
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

christopherowen/dgx-spark-networking 是一个在 DGX Spark 上无需交换机即可处理基于 RoCE(RDMA over Converged Ethernet)的集合通信运算、同时包含 NCCL profiling 与 fabric 工具的仓库。2026 年 11 月 1 日 17:04 UTC 推送的提交 1fd6a1fbd8dc4884057046d1ebd93d585c9e4bcf 改动了该仓库 vLLM 集成中的一个文件(sparknet/integration/vllm/roce_all_reduce.py,新增 17 行、删除 5 行)。内容只有一点:嵌入 vLLM 的自研一次性 AllReduce 实现(SparknetOneShotAllReduce)现在只处理不超过单个槽位大小(_slot_bytes)的传输。

改动体现在三个判断函数中。reduce-scatter、exchange、all-to-all 三行都会把张量的字节数与 _slot_bytes 作比较,一旦超出大小就不使用自有路径,而是转交给 PyNCCL(常规 NCCL 调用路径)。相反,在 all-gather 中,sliced=True 标记被移除。提交消息将这一收窄的原因解释为:让“large SP prefill chunks”使用 PyNCCL。Prefill 是推理中让输入先行通过的阶段。

不过,提交中并没有性能数值。单个槽位的大小也未一并给出,因此无法得知从多大的体量开始路径会分流。本资料中也没有基准测试。考虑到该仓库是面向 DGX Spark 推理配方(recipe)的工具,更贴切的解读是:这一改动是在特定硬件与 fabric 配置下,把大输入改走标准 NCCL 路径的调整。与其说是可以原样套用到其他环境的改进,不如说只能确认其在该配置下改变了行为这一事实。