nvidia-nemo/automodel 是一个 PyTorch 分布式训练库,可让你在不转换格式的情况下训练 Hugging Face 模型。目标模型是语言模型与视觉-语言模型(LLM·VLM),仓库说明指出其基于 PyTorch Distributed 原生实现,默认内置 Hugging Face 支持。最新版本为 v0.6.0,仓库创建于 2025 年 5 月 21 日。语言为 Python,许可证为 Apache-2.0。
README 将该库描述为面向大规模训练的 DTensor-native SPMD 库。SPMD 是用同一个程序把相同工作分摊到多个设备的做法,DTensor 则是 PyTorch 处理跨多个设备分片张量的方式。它可以在不做格式转换的情况下训练 Hugging Face 的 LLM·VLM,并包含面向 LLM·VLM·扩散·检索的配方与示例。此外还包含 FSDP2(将参数分片存放到各设备的数据并行)、流水线并行与上下文并行,以及与 LoRA、QLoRA 和量化相关的组件。微调配方给出 LoRA 与全量微调、FSDP、专家并行(把运算分摊到多个设备的并行方式)。Star 数为 1031。
不过,证据仅限于仓库说明和 README 的自述。所给信息中没有性能数值,没有与其他分布式训练工具的对比,也没有实际采用案例。v0.6.0 也没有发布说明条目,因此无法确认本次版本改动了什么。在一同整理的评估中,除 Momentum 2.5 之外,原创性·技术·质量各项分数均未计算。现在应当期待的,与其说是某种性能优势,不如说是训练配置齐备的流水线参考实现。