Devotd Github
新发现推理与服务

ghguide/self-draft 259203d — Arm 代理演示计划书重写

ghguide/self-draft 于 2026-06-14 提交了一个仅含文档的提交,把 docs/DEMO_PLAN.md 改写为一份 3 分钟以内的 Arm64 代理记忆演示时间表以及评估项目对应清单。

仓库信息ghguide/self-draft ↗

ghguide/self-draft 于 2026-06-14 提交了一个仅含文档的提交,把 docs/DEMO_PLAN.md 改写为一份 3 分钟以内的 Arm64 代理记忆演示时间表以及评估项目对应清单。

GitHub 项目说明: Zero-download MTP self-speculative decoding for llama.cpp: one flag, ~1.5x lower-latency LLM inference on Arm64 cloud, no separate draft model.

星标
★ 1
复刻
0
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

ghguide/self-draft 在 2026-06-14 的提交 259203d 中,只重写了 docs/DEMO_PLAN.md 这一个文件。新增 26 行,删除 48 行,没有改动代码与配置。原文档是面向 llama.cpp 的 MTP 自推测解码(self-speculative decoding)视频计划书,新文档则替换为一份按 3 分钟以内划分场景的 Arm Agent-Memory 演示计划书。被删除的那一侧包含 MTP 模型文件名、自动调优网格,以及 `SPEEDUP: 1.54x` 这类自推测解码专用场景。

仓库说明指出,不必另外下载草稿模型,只靠 llama.cpp 中的一个开关就能把延迟降低约 1.5 倍。新计划书把重心从该功能转向代理一侧。它处理了恢复运行后的代理重新计算整个上下文、也就是丢弃并重新填充 KV 缓存(key/value 缓存)的成本,而核心是以恢复该缓存并立即输出首个 token 的构成。文中把用于屏幕显示的文案写为:重算 13~91 秒、恢复后首个 token 约 0.2 秒、TTFT 降低 500 倍、以 q4 KV 为基准每 GB 的代理数为 3.6 倍。还包含了相应指示:展示确认 sha256 是否一致的比特完全一致(bit-exact)检查、自推测解码竞速场景、槽位管理器(slot manager)与 `--swa-full` 的处理,以及用 KleidiAI i8mm/SVE2 为 Neoverse 构建 llama.cpp 的公开 CI 运行。

还附上了提交条件与评估对应清单。由于可能仅凭视频评分,指示要求把屏幕上显示的数值全部呈现,并列出了提交规则,如 3 分钟以内、在 Arm64 上运行、英语、公开上传、使用无版权音乐等。技术 40 分交给了同分判定基准,WOW 25 分要求以 500 倍数值和比特完全一致性作为重点,影响力 20 分对应 2026 年多代理工作负载以及作为 arXiv:2603.04428 的首个 llama.cpp/Arm64 移植的说明,DX 15 分对应一条命令复制粘贴式的 README 与免费 CI 复现。拍摄要在 Arm64 设备(M4 或 Graviton)上进行,或者用公开 Arm64 CI 运行的屏幕录制替代,并提示要在镜头之外提前完成模型加载。

不过该提交触及的只是一份文档。500 倍和 3.6 倍等数值并不是本提交中附带的测量结果,而是要显示在屏幕上的文案,其原始依据在仓库 README 和公开的 CI 运行一侧。性能依据不在本次 diff 之内,这里能确认的只有演示叙事的压缩以及构成的文档化。实现是否发生了变化,则需要另行查看代码提交。