professorpalmer/mirai-s-ada リポジトリは 2026 年 10 月 26 日に bundle-20261026 を公開した。リポジトリの説明によれば、このプロジェクトは 12 GB VRAM の RTX 4070 で Qwen3.8-27B-S trellis GGUF（Mirai S）を扱い、262k q8_0 階層のキャッシュと深さごとの MTP ドラフトングを使う。今回のコミットは RELEASE-NOTES.md に 11 行を追加したノートコミットであり、モデルファイルはそのままに、エンジンバイナリを新しいものに差し替えた。エンジンのコミットは 2c49257ea、ブランチは serve/qkv-prefetch である。
手を入れたのはテンソルコアのアテンションカーネル1つだけだ。q8_0 キャッシュを使う状態では、各スレッドが K·Q 計算に入る前に次のタイルの K と V のデータを先読みし、K·Q と softmax の実行中に V のデータが到着するようにした。計算順序と演算はそのままに、メモリの読み込みだけを前倒しにした変更である。
目的は、長いコンテキストでレイテンシを減らしつつ出力をそのままにすることである。ノートによれば、logits は bundle-20261019d とバイト単位で同一で、5つのテストセルでプロンプトバッチと1〜8トークンのバッチの両方を確認した。RTX 4070 で llama-bench を測ったところ、プロンプト処理は32kコンテキストで1.034倍、64kで1.058倍、デコードは1.009倍と1.014倍であった。同じ変更は姉妹ディストリビューションである Bonsai serve のパッチ0072にもそのまま取り込まれた。
ただし、これらの数値はリポジトリ側が自分の RTX 4070 で測った llama-bench の値にすぎず、独立した測定ではない。改善幅も1.009倍から1.058倍の範囲にとどまり、最も大きい利得があるのは64kコンテキストでのプロンプト処理側である。適用範囲も q8_0 キャッシュを使うアテンションカーネルに限られ、ランチャー、レイヤー、テストスイートは変更されていない。他GPUや別のモデルファイルでの結果は示されていないため、このバンドルが特定の環境でどれだけ有用かはまだ判断がつかない。読む価値のある最適化だが、汎用的な高速化として受け入れるには根拠が不足している。