Devotd Github
新着推論・サービング

warmctl v2.0.0-beta.18 — DMTCP v5.0.0-warmctl.2 を同梱

warmctl v2.0.0-beta.18 は、ゼロで埋まった常駐メモリをチェックポイントから除外する TensorRails DMTCP v5.0.0-warmctl.2 を同梱し、RTX 3090 上で Qwen3-0.6B のプロセス画像が 8,582 MiB から 6,065 MiB に縮小された。

リポジトリ情報tensorrails/warmctl ↗

warmctl v2.0.0-beta.18 は、ゼロで埋まった常駐メモリをチェックポイントから除外する TensorRails DMTCP v5.0.0-warmctl.2 を同梱し、RTX 3090 上で Qwen3-0.6B のプロセス画像が 8,582 MiB から 6,065 MiB に縮小された。

GitHub の説明: Snapshot a warmed-up vLLM engine and restore it in seconds

スター
★ 17
フォーク
0
言語
Go
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

warmctl は、ウォームアップ済みの vLLM エンジンプロセスをスナップショットとして保存し、数秒以内に復元する CLI ツールである。2026 年 11 月 4 日の GitHub コミット e3116cb(リリース PR #74 のマージ)で v2.0.0-beta.18 が公開され、TensorRails の DMTCP フォーク v5.0.0-warmctl.2 も同時に同梱している。中核となる変更は、チェックポイントがゼロで埋まった常駐メモリを残さなくなり、復元処理の途中で読み取り側たちが大きな連続領域を共有する点にある。このコミットは CHANGELOG.md と docs/dmtcp.md を修正し、internal/dmtcp の VERSION と SHA256SUMS を v5.0.0-warmctl.1 から v5.0.0-warmctl.2 に更新した。

この変更の効果は、リポジトリが残した測定値から読み取ることができる。単一の RTX 3090 で Qwen3-0.6B のプロセス画像は 8,582 MiB から 6,065 MiB に縮小し、/health 応答までの時間は 4.6–5.1 秒から 4.0–4.4 秒へ低下し、回答内容も同一だった。CUDA ホストメモリをピン留めする側(Qwen3.8-Flash-Next の CPU 側埋め込みテーブル)は、元々からゼロページを除外していたため、サイズの変化はない。同じ CHANGELOG の項目には、`up` の段階的コピー(FUSE 上のスナップショットや `--compress` 保存)がゼロページをスキップして穴として残すことと、GLM-5.3-Flash の CRIU 画像ではプロセス画像の 57% がゼロページであるという数値も含まれている。このフォークは別リポジトリで、ソースと Debian 12 互換の linux amd64・arm64 パッケージ、チェックサム、fdkeep プラグインとともに配布される。

ただし、根拠が途切れる箇所ははっきりしている。記録された数値は RTX 3090 1 枚と Qwen3-0.6B という組み合わせから得られたものであり、別の GPU やより大きなモデルで同じ比率を期待するには早い。新規スナップショットは本リリースでベイクされ、既存スナップショットは 2 つの DMTCP バージョンのいずれでも復元できるが、CLI のリリースだけではすでに展開済みのランタイム画像は変わらないため、新しい画像または `--dmtcp-dir`、`--dmtcp-plugin` のパスを明示する必要がある。フォークのパッケージは glibc 2.36 以上を要求する。