professorpalmer/bonsai-ada-surgery 于 2026 年 10 月 19 日发布的 bundle-20261018f 改进了长对话的保存层。在一来一回的对话中,每次回答结束后都会把状态以增量(delta)方式保存。增量只记录与上一状态不同的部分。当下一轮的新提示词把上一次保存的令牌作为前缀包含进来时,恢复就从该位置开始。改动内容写在 GitHub 发布说明中。
该仓库在 Windows 包之外还介绍了 Bonsai 2 27B,并说明沿用同样的三进制权重。据仓库说明,它在 12 GB 下支持 262k 上下文,解码速度为 54 到 97 tok/s,预填充为 2x。q8_0 KV 配置和基于语法的工具调用 9/9 也都写在说明里。本次发布处理的是对话保存:把起点相同的对话分开保存,并在重复失败时调整重试间隔。出现内存压力时,会把长长的增量链改成完整保存,并保护最近在使用的其他对话的保存状态。还新增了用环境变量关闭该功能的设置。
不过,发布说明没有给出环境变量的名称和重试间隔的取值。仓库说明中的速度与上下文数值没有标注测量条件,增量恢复的准确性也只是发布说明中的说法。因此这次改动可以看作保存与恢复方式的改进,但支撑所列数值和恢复结果的附加条件与验证材料无法确认。