github.devotd.
新着LLMインフラ

nvidia-nemo/automodel v0.6.0 — DTensor-native 分散学習ライブラリ

nvidia-nemo/automodel の最新リリース v0.6.0 は、フォーマット変換なしで Hugging Face の LLM·VLM を学習できる DTensor-native SPMD ライブラリです。

リポジトリ情報nvidia-nemo/automodel ↗

nvidia-nemo/automodel の最新リリース v0.6.0 は、フォーマット変換なしで Hugging Face の LLM·VLM を学習できる DTensor-native SPMD ライブラリです。

GitHub の説明: 🚀 Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support

スター
★ 1K
フォーク
344
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.6.0
原文を見る ↗GitHub で見る ↗

nvidia-nemo/automodel は、Hugging Face モデルをフォーマット変換なしで学習できる PyTorch 分散学習ライブラリです。対象は言語モデルとビジョン-言語モデル(LLM·VLM)で、リポジトリの説明では PyTorch Distributed ネイティブ実装に Hugging Face サポートが標準で含まれるとあります。最新リリースは v0.6.0 で、リポジトリは 2025 年 5 月 21 日に作成されました。言語は Python、ライセンスは Apache-2.0 です。

README はこのライブラリを、大規模学習向けの DTensor-native SPMD ライブラリと説明しています。SPMD は1つのプログラムで同じ処理を複数デバイスに分担させる方式であり、DTensor はテンソルを複数デバイスにまたがって分割して扱う PyTorch の方式です。フォーマット変換なしで Hugging Face の LLM·VLM を学習でき、LLM·VLM・디Diffusion・検索向けのレシピとサンプルが含まれます。FSDP2(パラメータを各デバイスに分散保存するデータ並列化)、パイプライン並列とコンテキスト並列、LoRA・QLoRA と量子化に関するコンポーネントも含みます。ファインチューニングのレシピとして LoRA と full fine-tuning、FSDP、エクススパート並列化(演算を複数デバイスに分担配置する並列化)が提示されています。Star は 1031 個です。

ただし、根拠はリポジトリの説明と README の自己申告に限られます。性能数値や他の分散学習ツールとの比較、実際の導入事例は、与えられた情報にはありません。v0.6.0 のリリースノート項目もないため、このバージョンが何を変えたかは確認できません。併せて整理された評価でも、Momentum 2.5 を除いた新規性・技術・品質の各スコアは算出されていません。今期待すべきは、特定の性能優位性ではなく、学習構成が整理されたパイプラインのリファレンスに近いものです。