Devotd Github
新着推論・サービング

ghguide/self-draft 259203d — Arm エージェントデモ計画書の書き直し

ghguide/self-draft が 2026-06-14 に、docs/DEMO_PLAN.md を Arm64 エージェントメモリデモ用の 3 分以内のタイムテーブルと評価項目の対応一覧へ書き直した、ドキュメントのみのコミットを投稿した。

リポジトリ情報ghguide/self-draft ↗

ghguide/self-draft が 2026-06-14 に、docs/DEMO_PLAN.md を Arm64 エージェントメモリデモ用の 3 分以内のタイムテーブルと評価項目の対応一覧へ書き直した、ドキュメントのみのコミットを投稿した。

GitHub の説明: Zero-download MTP self-speculative decoding for llama.cpp: one flag, ~1.5x lower-latency LLM inference on Arm64 cloud, no separate draft model.

スター
★ 1
フォーク
0
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

ghguide/self-draft は 2026-06-14 のコミット 259203d において、docs/DEMO_PLAN.md の 1 ファイルだけを書き直した。26 行の追加、48 行の削除で、コードと設定には手を触れていない。従来のドキュメントは llama.cpp 用の MTP 自己推測デコード(self-speculative decoding)動画計画書だったが、新しいドキュメントは 3 分以内にシーンを分けた Arm Agent-Memory デモ計画書に置き換えられた。削除された側には、MTP モデルファイル名や自動チューニンググリッド、`SPEEDUP: 1.54x` のような自己推測デコード専用のシーンが含まれていた。

リポジトリの説明は、別のドラフトモデルをダウンロードせずに、llama.cpp の 1 つのフラグでレイテンシを約 1.5 倍まで下げるとしている。新しい計画書はその機能よりもエージェント側に重みを移した。再開されたエージェントがコンテキスト全体を再計算する状況、すなわち KV キャッシュ(key/value キャッシュ)を捨てて埋め直すコストを取り扱い、そのキャッシュを復元して最初のトークンをすぐに出す構成が中心である。画面表示用の文言として、再計算 13~91 秒、復元後の最初のトークン約 0.2 秒、TTFT 500 倍削減、q4 KV 基準で GB あたりのエージェント数 3.6 倍を記載した。sha256 の一致を確認するビット同一性(bit-exact)検査、自己推測デコードの競走シーン、スロットマネージャー(slot manager)と `--swa-full` の処理、KleidiAI i8mm/SVE2 で Neoverse 用 llama.cpp をビルドする公開 CI 実行を見せる指示も含まれている。

提出条件と評価対応一覧も付された。動画だけで採点される可能性があるため画面上の数値をすべて表示するよう指示があり、3 分以内・Arm64 での実行・英語・公開アップロード・著作権のない音楽といった提出ルールも書かれた。技術 40 点は同点判定の基準に任せ、WOW 25 点には 500 倍の数値とビット同一性を前面させるように求め、インパクト 20 点には 2026 年のマルチエージェントワークロードと arXiv:2603.04428 による初の llama.cpp/Arm64 ポートという説明を、DX 15 点には 1 コマンドのコピペ型 README と無料の CI 再現を対応させた。撮影は Arm64 機器(M4 または Graviton)で行うか、公開 Arm64 CI 実行の画面キャプチャで代替し、モデルロードはカメラの外で事前に終えておくよう案内している。

ただし、コミットが触れたのはドキュメント 1 枚だけである。500 倍や 3.6 倍といった数値はこのコミットに含まれる計測結果ではなく、画面に出す文案であり、元はリポジトリの README と公開 CI 実行の側にある。性能の根拠は今回の diff の外にあり、ここで確認できるのはデモのナラティブの圧縮と構成の文書化のみである。実装が変わったかどうかは、別途コードコミットを見なければならない。