masherdon/siege-ladder 是一个研究仓库,试图在配备 16 GB 显存和 64 GB 系统内存的一台 PC 上运行 DeepSeek-V4.1-Flash-1017。目前没有最新的公开版本发布。仓库说明这是进行中的工作,而非已完成的引擎,并提供 llama.cpp 补丁、权重组合脚本、测量工具和笔记。因此与其说这是新版本的发布,不如说是在考察仓库中公开的运行方式与研究资料。
核心是流式从 NVMe 加载模型的专家权重,从而分摊内存占用。专家是模型根据输入自行选择使用的一组参数。README 说明,它以梯子形式利用显存、固定的系统内存和 NVMe,并预测路由以有选择地跳过专家。主要语言是 Python,许可证为 MIT-0。与其说这是对通用推理引擎的介绍,不如说更接近一份在受限内存下运行大模型的具体实现记录。
README 中记录的性能案例是截至 2026 年 11 月 4 日的 1M 文档实验。该记录写明了处理 946,058 个 token、处理速度 365.78 tok/s、回答生成速度 14.38 tok/s。这是一次单独的运行结果,其条件与其他性能表不同。README 说明其可复现性有限,且部分组件尚未公开。因此,与其把这些数字视为可比较的性能评估,不如看作进行中研究的参考记录更为妥当。