Devotd Github

tensorrails/warmctl

warmctl v2.0.0-beta.18 捆绑了 TensorRails DMTCP v5.0.0-warmctl.2,该版本在检查点中排除仅由零填充的常驻内存,使 RTX 3090 上 Qwen3-0.6B 的进程映像从 8,582 MiB 缩小到 6,065 MiB。

GitHub 项目说明: Snapshot a warmed-up vLLM engine and restore it in seconds

在 GitHub 查看 ↗
星标
★ 17
复刻
0
语言
Go
许可证
Apache-2.0

文章

1