Devotd Github
新发现推理与服务

warmctl v2.0.0-beta.18 —— 捆绑 DMTCP v5.0.0-warmctl.2

warmctl v2.0.0-beta.18 捆绑了 TensorRails DMTCP v5.0.0-warmctl.2,该版本在检查点中排除仅由零填充的常驻内存,使 RTX 3090 上 Qwen3-0.6B 的进程映像从 8,582 MiB 缩小到 6,065 MiB。

仓库信息tensorrails/warmctl ↗

warmctl v2.0.0-beta.18 捆绑了 TensorRails DMTCP v5.0.0-warmctl.2,该版本在检查点中排除仅由零填充的常驻内存,使 RTX 3090 上 Qwen3-0.6B 的进程映像从 8,582 MiB 缩小到 6,065 MiB。

GitHub 项目说明: Snapshot a warmed-up vLLM engine and restore it in seconds

星标
★ 17
复刻
0
语言
Go
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

warmctl 是一个 CLI 工具,把预热好的 vLLM 引擎进程保存为快照,并在数秒内完成恢复。2026 年 11 月 4 日,GitHub 提交 e3116cb(合并发布 PR #74)发布了 v2.0.0-beta.18,并同时包含 TensorRails 的 DMTCP 分支版本 v5.0.0-warmctl.2。核心变化是检查点不再保留仅由零填充的常驻内存,并且在恢复过程中各读取方共享大块连续区域。该提交修改了 CHANGELOG.md 和 docs/dmtcp.md,并把 internal/dmtcp 下的 VERSION 与 SHA256SUMS 从 v5.0.0-warmctl.1 升级到 v5.0.0-warmctl.2。

这一改动的效果可以从仓库留下的测量数据中读出。在单张 RTX 3090 上,Qwen3-0.6B 的进程映像大小从 8,582 MiB 减到 6,065 MiB,/health 响应所需时间从 4.6–5.1 秒降到 4.0–4.4 秒,答案保持一致。固定(pin)CUDA 主机内存的那一侧(Qwen3.8-Flash-Next 的 CPU 侧嵌入表)由于一开始就排除了零页,大小没有变化。同一条 CHANGELOG 记录还写明:`up` 的阶段复制(FUSE 上的快照或 `--compress` 保存)会跳过零页并把它们留作空洞;此外,GLM-5.3-Flash 的 CRIU 映像中,进程映像的 57% 是零页。该分支版本在单独的仓库中发布,随附源代码、与 Debian 12 兼容的 linux amd64 和 arm64 软件包、校验和以及 fdkeep 插件。

不过,证据止步之处也很明确。所记录的数值来自一张 RTX 3090 与 Qwen3-0.6B 的组合,因此要期待其他 GPU 或更大模型出现同样的比例还为时过早。新快照使用本次发布烘焙,已有快照在两个 DMTCP 版本中都能恢复,但仅发布 CLI 并不会改变已经部署的运行时映像,因此必须指定新映像或 `--dmtcp-dir`、`--dmtcp-plugin` 路径。该分支的软件包要求 glibc 2.36 或更高版本。