github.devotd.
リリース推論・サービング

professorpalmer/bonsai-ada-surgery bundle-20261018f — 会話保存レイヤーの改善

professorpalmer/bonsai-ada-surgery の bundle-20261018f は、長い会話の保存と復元の方式を改善したリリースである。

リポジトリ情報professorpalmer/bonsai-ada-surgery ↗

Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.

スター
★ 72
フォーク
6
言語
Python
ライセンス
NOASSERTION
最新リリース
bundle-20261018f
原文を見る ↗GitHub で見る ↗

professorpalmer/bonsai-ada-surgery が 2026 年 10 月 19 日に公開した bundle-20261018f は、長い会話の保存レイヤーを改善した。交互的に続く会話では、各回答直後の状態をデルタとして保存する。デルタは前の状態から変わった部分だけを記録する方式である。次のターンの新しいプロンプトが最後に保存したトークンを接頭辞として含む場合、その地点から復元するよう変更された。変更点は GitHub のリリース説明に記載されている。

このリポジトリは Windows バンドルとともに Bonsai 2 27B を紹介し、三値化(ternary)重みは同じものだと説明している。リポジトリの説明によれば、12 GB で 262k コンテキストをサポートし、デコード速度は 54 から 97 tok/s、プリフィルは 2x である。q8_0 KV レシピと文法ベースのツールコール 9/9 も説明に含まれる。今回のリリースは会話の保存を扱う。開始点が同じである会話を別々に保存し、失敗が繰り返るときに再試行の間隔を調整する。メモリ圧迫時は長いデルタの連鎖を全保存へ切り替え、直近に使っていた別の会話の保存を保護する。環境変数でこの機能を無効にする設定も追加された。

ただし、リリース説明には環境変数の名称も再試行間隔の値も示されていない。リポジトリの説明にある速度とコンテキストの数値には測定条件が示されておらず、デルタ復元の精度もリリース説明に記載された内容にとどまる。したがって今回の変更は保存と復元の方式の改善と見てよいが、示された数値や復元結果を裏づける追加条件と検証資料は確認できない。

同じ分野の他のプロジェクト

ローカル推論エンジン ↗