tensorrails/warmctl

warmctl v2.0.0-beta.18 は、ゼロで埋まった常駐メモリをチェックポイントから除外する TensorRails DMTCP v5.0.0-warmctl.2 を同梱し、RTX 3090 上で Qwen3-0.6B のプロセス画像が 8,582 MiB から 6,065 MiB に縮小された。

GitHub の説明: Snapshot a warmed-up vLLM engine and restore it in seconds

スター

★ 17

フォーク

0

言語

Go

ライセンス

Apache-2.0