github.devotd.
发布推理与服务

professorpalmer/bonsai-ada-surgery bundle-20261018d — 槽位缓存保存路径变更

介绍 bundle-20261018d 在保持引擎不变的前提下改用槽位缓存保存路径的改动,以及该仓库报告的等待时间结果。

仓库信息professorpalmer/bonsai-ada-surgery ↗

Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.

星标
★ 72
复刻
6
语言
Python
许可证
NOASSERTION
最新版本
bundle-20261018e
查看原始来源 ↗在 GitHub 查看 ↗

professorpalmer/bonsai-ada-surgery 的 bundle-20261018d 是一份 Windows 发布包,只调整了槽位缓存的保存路径,没有改动引擎。据仓库说明,该项目涉及 Bonsai 2 27B。此前每次都会重写整个对话,这次改为只以差分方式记录上次保存之后的 token。来源为仓库的 bundle-20261018d 公开页面。

这次改动作用于保存对话的任务,而非模型推理引擎。因此更新的重点不在于答案如何生成,而在于保存路径的变化。仓库报告称,在 RTX 4070 与 8GB 预设下的 30 轮会话中,答案平均等待时间从 53.2 秒降至 14.2 秒,并说明 30 条响应内容全部相同。该发布所呈现的结果是:在该环境与该会话下,平均等待时间下降,而响应内容保持不变。

该发布包大小为 616,681,355 字节,同时提供 SHA-256 校验和,提交号为 191。可执行文件与上一个发布包逐字节相同,引擎提交也一致。这说明本次发布并未更换可执行文件或引擎,而是改动了保存路径。不过,等待时间数据仅限仓库给出的 RTX 4070 与 8GB 预设下 30 轮会话的结果。没有依据表明在其它设备或会话中也会出现同样的下降,因此难以将其扩大解读为普遍的性能提升。

同领域的其他项目

本地推理引擎 ↗