professorpalmer/bonsai-ada-surgery の bundle-20261018e リリースは、長い会話の全キャッシュ保存のタイミングを応答直後からアイドル時間へ移した。会話が続く場合は増分保存の接続を延長し、上限に達すると全保存を実行する。エンジンのバイナリは前バンドルと同じで、この変更は保存処理が次のリクエストをブロックする状況を減らすことに焦点を当てている。
このリポジトリは Bonsai 2 27B モデルの Windows バンドルと作業記録(receipts)を配布している。リポジトリの説明によれば、12 GB で 262k コンテキスト(学習時の最大値)をサポートし、デコード速度は 54 から 97 tok/s、プリフィルは 2x である。q8_0 KV 設定と文法ベースのツールコール 9/9 も説明に記載されている。重みは前バンドルと同じ三値化(ternary)方式である。これはリポジトリが示した構成と数値であり、今回のリリースの要点はモデルや推論エンジンの変更ではなく保存処理のやり方である。
今回の変更で生成速度が上がると判断する根拠は示されていない。全保存を遅らせて増分保存を増やす方法は、次のリクエストをブロックする状況を減らすことに合っている。ただし増分保存の接続の上限とアイドル時間の判定基準は示されていないため、実際の保存動作の詳細な条件は、この情報だけでは判断しにくい。