lightning-ai/litgpt v0.5.13 — 20 种以上 LLM 的预训练与微调配方

lightning-ai/litgpt 是一个 Python 项目，提供用于大规模预训练、微调和部署 20 种以上高性能 LLM 的配方。它不止于训练，也一并覆盖推理运行，最新版本为 v0.5.13。不过，现有记录中并未说明这次版本究竟改动了什么。

预训练是给模型注入通用知识的阶段，微调是针对特定任务继续学习的阶段，这个仓库把两个阶段与部署放在了一起。每个模型都不借助公共抽象层，而是从头单独实现，并同时提供各模型的运行命令与训练流程（执行步骤）。full、LoRA、QLoRA 等训练路径已经整理好，可以选择微调方式，也支持 Flash attention、FSDP、Adapter 以及量化。它涉及快速推理和在显存较少的 GPU 上运行，许可证为 Apache-2.0，企业也可以使用。星标数为 13720。

不过记录中没有性能数值或基准测试，无法确认它能带来何种水平的质量与处理速度。仓库创建于 2023 年 5 月 4 日，评估分数中只有动量分数为 10 分制中的 1.6 分，新鲜度、技术与质量分数都没有给出。与其现在就引入，把它当作训练流水线配方的参考更为现实。