新发现
professorpalmer/bonsai-ada-surgery bundle-20261017b — 12GB 部署配方
记录了在 12GB RTX 4070 上部署 Bonsai 2 27B 的配方,以及分层 KV 缓存与工具语法优化的仓库。
Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.
在 GitHub 查看 ↗记录了在 12GB RTX 4070 上部署 Bonsai 2 27B 的配方,以及分层 KV 缓存与工具语法优化的仓库。
没有符合条件的动态。