github.devotd.
发布推理与服务

professorpalmer/bonsai-ada-surgery bundle-20261018f — 对话保存层改进

professorpalmer/bonsai-ada-surgery 的 bundle-20261018f 是一次改进长对话保存与恢复方式的发布。

仓库信息professorpalmer/bonsai-ada-surgery ↗

Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.

星标
★ 72
复刻
6
语言
Python
许可证
NOASSERTION
最新版本
bundle-20261018f
查看原始来源 ↗在 GitHub 查看 ↗

professorpalmer/bonsai-ada-surgery 于 2026 年 10 月 19 日发布的 bundle-20261018f 改进了长对话的保存层。在一来一回的对话中,每次回答结束后都会把状态以增量(delta)方式保存。增量只记录与上一状态不同的部分。当下一轮的新提示词把上一次保存的令牌作为前缀包含进来时,恢复就从该位置开始。改动内容写在 GitHub 发布说明中。

该仓库在 Windows 包之外还介绍了 Bonsai 2 27B,并说明沿用同样的三进制权重。据仓库说明,它在 12 GB 下支持 262k 上下文,解码速度为 54 到 97 tok/s,预填充为 2x。q8_0 KV 配置和基于语法的工具调用 9/9 也都写在说明里。本次发布处理的是对话保存:把起点相同的对话分开保存,并在重复失败时调整重试间隔。出现内存压力时,会把长长的增量链改成完整保存,并保护最近在使用的其他对话的保存状态。还新增了用环境变量关闭该功能的设置。

不过,发布说明没有给出环境变量的名称和重试间隔的取值。仓库说明中的速度与上下文数值没有标注测量条件,增量恢复的准确性也只是发布说明中的说法。因此这次改动可以看作保存与恢复方式的改进,但支撑所列数值和恢复结果的附加条件与验证材料无法确认。

同领域的其他项目

本地推理引擎 ↗