pytorch/torchtitan は、大規模な生成 AI モデルを学習するための PyTorch ネイティブなプラットフォームです。2023 年 12 月に作られたリポジトリで、単一のコードベースにおいて事前学習と後学習を、複数デバイスにまたがる分散学習構成とともに実行します。最新リリースは v0.3.0 ですが、提供された情報にはこのバージョンの変更項目がありません。
README では、このプラットフォームが事前学習・教師ありファインチューニング・強化学習を 1 つのリポジトリで行い、モデルを書き換えずに FSDP（パラメータを複数デバイスに分割して保存するデータ並列方式）とテンソル・パイプライン・コンテキスト・エキスパート並列を組み合わせると説明しています。学習段階と並列構成が 1 つのリポジトリに収まっているため、事前学習から後学習まで同じコードの上で続けられる構造です。すべての実行は読んで複製し改造できる Python recipe として提供され、TitanRL では trainer と vLLM が同じモデル定義とカーネルを共有します。言語は Python、ライセンスは BSD-3-Clause、GitHub スターは 5825 です。
ただし、あわせて整理された評価で残った数字は 10 点満点中モメンタム 3.2 のみで、性能数値やベンチマーク、実際の導入事例は示されていません。実測性能や導入の広がりで先行するプロジェクトだと読む根拠はありません。現時点では、大規模な分散学習構成を自前で組み立てるチームのための参考資料として捉えるのが適切です。