yuhai-china/ds4-spark は antirez/ds4 を基盤に DeepSeek V4 Flash をローカルで動かす推論エンジンであり、Markov 推測デコーディング（speculative decoding、つまり候補トークンを先に計算してまとめて検証する方式）を用いている。2026 年 6 月 29 日のコミット 9ba9202 が変更したのは、この推測パスで draft トークンを作る側である。第 42 層の隠れ状態（hidden state, HC）に出力ヘッド（output head）を GPU 上で直接適用して draft 候補を作る構造に変わった。
出力ヘッドは、隠れ状態を語彙（vocab）サイズのスコア配列（logits）に変換し、次のトークン候補を選ぶ最後の部分である。今回のコミットは第 42 層の HC が GPU に保存済みの時点で、Metal コマンドバッファ内でもう一度出力ヘッドの encode を実行し、結果を markov_logits_gpu に残し（505 KiB）、コマンド終了後に markov_logits_cpu へ読み戻す（505 KiB CPU）。その結果、draft 段階に残るのはすでに計算済みの logits の argmax だけになった。コミットメッセージはこの処理を sub-ms と説明し、消失した CPU 側の Q8_0 逆量子化（dequant）が 500M スカラー乗算・加算のボトルネックであったと記している。あわせて weights_validate_layout の output テンソル検査は Q8_0 タイプ要求を外し、一般的なレイアウト検査のみを残すように変更された。
ただし、このコミットは性能指標を提示していない。コミットメッセージ自身が挙げる次の段階は、完全な GGUF 再ビルドを前提とする推測デコーディングのヒット率（hit rate）の検証だったが、その結果はまだ示されていない。GPU と CPU にそれぞれ 505 KiB 追加されるバッファコストも併せて伴う。パッチで確認できる変更は Metal コマンドバッファ経路に限られており、他のバックエンドへの影響については示されていない。変更されたファイルは ds4.c の 1 つだけで、変更は 38 行（追加 31、削除 7）である。リポジトリの説明には DeepSeek V4 Flash 用のローカル推論エンジンという記述のみがあり、ライセンスやベンチマークの明記はない。出典は github.com/yuhai-china/ds4-spark のコミット 9ba9202 である。