professorpalmer/bonsai-ada-surgery 的最新发行版 bundle-20261017b 包含在 12GB RTX 4070 上部署 Bonsai 2 27B 的配方和测量记录。该仓库介绍了如何在 llama.cpp 的 PrismML 分支上运行，而不重新量化 1.58 比特三值量化权重。使用 q8_0 KV 缓存时，模型训练时的最大上下文 262,144 token 得以保持。
核心是分层 KV 缓存。KV 保留在显存中直到大约 119k 位置，之后改用系统内存。在 README 的单槽位测量表（2026-10-08，RTX 4070 12GB）中，解码速度从 4k 时的 102 tok/s 降到 258k 时的 8.6 tok/s，预填充从 1,173 tok/s 降到 436 tok/s。它还记录了一项优化：用二分查找替代工具 schema 文法复制。报告称，在 107 个工具的情况下，63k 时的吞吐量从 41.8 tok/s 提升到 61.2 tok/s。
不过，所列性能与基准测试均为在单张 RTX 4070 上的自行测量。独立复现依赖 Windows 捆绑包和脚本，许可证标记为 NOASSERTION，未给出再利用条件。因此，这份记录更适合作为特定环境下的部署结果来阅读，并不保证其他环境的性能。