github.devotd.
发布推理与服务

professorpalmer/bonsai-ada-surgery bundle-20261018e — 长对话缓存保存时机变更

bundle-20261018e 是不更换推理引擎二进制文件、将长对话的完整缓存保存推迟到空闲时间才执行的发布。

仓库信息professorpalmer/bonsai-ada-surgery ↗

Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.

星标
★ 72
复刻
6
语言
Python
许可证
NOASSERTION
最新版本
bundle-20261018e
查看原始来源 ↗在 GitHub 查看 ↗

professorpalmer/bonsai-ada-surgery 的 bundle-20261018e 版本将长对话的完整缓存保存时机从响应结束后立即保存改为在空闲时保存。对话继续时会延长增量保存连接,达到上限后才执行完整保存。引擎二进制文件与上一个包相同,这项改动着眼于减少保存操作阻塞下一次请求的情况。

该仓库分发 Bonsai 2 27B 模型的 Windows 包以及工作记录(receipts)。据仓库说明,它在 12 GB 下支持 262k 上下文(训练时的最大值),解码速度为 54 到 97 tok/s,预填充(prefill)为 2x。q8_0 KV 设置以及基于语法的工具调用 9/9 也都写在说明中。权重采用与上一个包相同的三进制(ternary)方式。这些都是仓库给出的配置与数值,本次发布的重点并非模型或推理引擎的变更,而是保存处理方式的调整。

并没有给出证据表明此次改动提升了生成速度。推迟完整保存、增加增量保存的方式,是为减少下一次请求被阻塞的情况。不过,增量保存连接的上限以及空闲时间的判定标准并未说明,仅凭这些信息难以判断实际保存行为的细节条件。

同领域的其他项目

本地推理引擎 ↗