professorpalmer/bonsai-ada-surgery の最新リリース bundle-20261017b には、Bonsai 2 27B を 12GB RTX 4070 でサービングするレシピと計測記録が含まれている。リポジトリは、1.58 ビット三値量子化重みを再量子化せずに llama.cpp の PrismML フォークで動かす方法を扱う。q8_0 KV キャッシュにより、モデルが学習した最大コンテキストである 262,144 トークンを維持する。
要点は階層型 KV キャッシュだ。KV はおよそ 119k 位置まで VRAM に置き、それ以降はシステム RAM を使う。README の単一スロット計測表（2026-10-08、RTX 4070 12GB）では、デコードは 4k の 102 tok/s から 258k の 8.6 tok/s へ下がり、プリフィルは 1,173 tok/s から 436 tok/s へ下がった。ツールスキーマの文法コピーを二分探索に置き換える最適化も記録されている。107 個のツールで 63k のとき、スループットが 41.8 tok/s から 61.2 tok/s へ上がったと報告している。
ただし、示された性能とベンチマークはいずれも単一の RTX 4070 での自主測定である。独立した再現には Windows バンドルとスクリプトに依存し、ライセンスは NOASSERTION と表記され、再利用条件が示されていない。したがって、この記録は特定環境でのサービング結果として読むのが妥当であり、他の環境での性能は保証しない。