pytorch/torchtitan 是一个用于训练大规模生成式 AI 模型的 PyTorch 原生平台。该仓库创建于 2023 年 12 月，在单一代码库中运行预训练与后训练，并支持跨多个设备的分布式训练配置。最新版本是 v0.3.0，但所提供的信息中没有该版本的变更内容。
README 说明该平台在一个仓库中完成预训练、监督微调和强化学习，并在不重写模型的情况下，将 FSDP（把参数分片存储在多个设备上的数据并行方式）与张量、流水线、上下文和专家并行组合使用。训练阶段与并行化配置都集中在一个仓库中，因此从预训练到后学习可以在同一套代码上继续进行。所有运行都以可读、可复制、可修改的 Python recipe 形式提供，TitanRL 让 trainer 与 vLLM 共享相同的模型定义和 kernel。语言为 Python，许可证为 BSD-3-Clause，GitHub 星标数为 5825。
不过，在同时整理的评测中，剩下的数字只有 10 分满分中的 momentum 3.2，并未给出性能数据、基准测试或实际采用案例。没有依据表明它在实测性能或采用普及度上领先于其他项目。目前来看，把��当作需要自行搭建大规模分布式训练配置的团队的参考较为合适。