github.devotd.
リリース推論・サービング

professorpalmer/bonsai-ada-surgery bundle-20261018d — スロットキャッシュ保存パスの変更

エンジンをそのままにスロットキャッシュの保存パスを変えた bundle-20261018d の変更と、リポジトリが報告した待ち時間の結果を扱う。

リポジトリ情報professorpalmer/bonsai-ada-surgery ↗

Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.

スター
★ 72
フォーク
6
言語
Python
ライセンス
NOASSERTION
最新リリース
bundle-20261018d
原文を見る ↗GitHub で見る ↗

professorpalmer/bonsai-ada-surgery の bundle-20261018d は、エンジンを変えずにスロットキャッシュの保存パスを調整した Windows 配布バンドルである。リポジトリの説明によれば、このプロジェクトは Bonsai 2 27B を扱う。従来は会話全体を再保存していたのに対し、このリリースでは最後の保存以降のトークンのみを差分で記録するようになった。出典はリポジトリの bundle-20261018d の公開ページである。

今回の変更が対象としたのはモデル推論エンジンではなく、会話を保存する処理である。したがって更新の要点は回答の生成方法ではなく保存パスの変更にある。リポジトリは、RTX 4070 と 8GB プリセットの 30 ターンセッションで、回答の平均待ち時間が 53.2 秒から 14.2 秒へ短縮されたと報告している。30 件の回答はすべて同一だったとしている。このリリースが示している結果は、当該環境とセッションにおいて平均待ち時間が下がりつつ回答内容は維持された、というものである。

リリースバンドルは 616,681,355 バイトで、SHA-256 チェックサムが併せて提供され、コミット番号は 191 である。実行ファイルは直前のバンドルとバイト単位で同一であり、エンジンのコミットも同じである。この配布が実行ファイルやエンジンを変えたのではなく保存パスを変えたことを示している。ただし待ち時間は、リポジトリが示している RTX 4070・8GB プリセットの 30 ターンの結果に限られる。別の端末やセッションでも同じ短縮が見られる根拠はなく、一般的な性能向上とExpanded解釈することは難しい。

同じ分野の他のプロジェクト

ローカル推論エンジン ↗