kubeflow/trainer 是一个在 Kubernetes 集群中声明式管理分布式 AI 模型训练和大语言模型(LLM)微调的组件。该仓库创建于 2017 年 6 月 28 日,公开的最新版本是 v2.3.0。
README 中列出的支持范围正是该仓库的核心。可以直接使用 PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 来组合大语言模型微调与 AI 模型训练,并通过 MPI(消息传递接口)协调 HPC(高性能计算)集群上的多节点、多 GPU 作业。调度方面集成了 Kueue、Slurm Bridge 和 KAI Scheduler,同时提供分布式数据缓存,可将大规模数据以零拷贝(zero-copy)方式传输到 GPU 节点。模型开发与微调通过 Kubeflow Python SDK 的 TrainJob 和 Runtimes API 处理。实现语言为 Go,许可证为 Apache-2.0,star数为 2249。
不过,整理 v2.3.0 变更内容的发布说明在本次来源中并不存在,也没有给出性能指标。仅凭现有资料难以确认本次发布究竟改进在哪里。目前能读出的只有支持范围与结构本身。判断依据要等到发布说明原文出现后再定。