Devotd Github
새 소식추론/서빙

ghguide/self-draft 259203d — Arm 에이전트 데모 계획서 재작성

ghguide/self-draft가 docs/DEMO_PLAN.md를 Arm64 에이전트 메모리 데모의 3분 이내 시간표와 평가 항목 대응 목록으로 다시 쓴 문서 전용 커밋을 2026-06-14에 올렸다.

저장소 정보ghguide/self-draft ↗

ghguide/self-draft가 docs/DEMO_PLAN.md를 Arm64 에이전트 메모리 데모의 3분 이내 시간표와 평가 항목 대응 목록으로 다시 쓴 문서 전용 커밋을 2026-06-14에 올렸다.

GitHub 설명: Zero-download MTP self-speculative decoding for llama.cpp: one flag, ~1.5x lower-latency LLM inference on Arm64 cloud, no separate draft model.

스타
★ 1
포크
0
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

ghguide/self-draft가 2026-06-14 커밋 259203d에서 docs/DEMO_PLAN.md 한 파일만 다시 썼다. 추가 26줄, 삭제 48줄이고 코드와 설정은 건드리지 않았다. 기존 문서는 llama.cpp용 MTP 자기초안 추론(self-speculative decoding) 영상 계획서였고, 새 문서는 3분 이내로 장면을 나눈 Arm Agent-Memory 데모 계획서로 교체됐다. 삭제된 쪽에는 MTP 모델 파일 이름과 자동 튜닝 그리드, `SPEEDUP: 1.54x` 같은 자기초안 전용 장면이 들어 있었다.

저장소 설명은 별도의 초안 모델을 내려받지 않고 llama.cpp에서 한 플래그로 지연을 약 1.5배 낮춘다고 밝힌다. 새 계획서는 그 기능보다 에이전트 쪽에 무게를 옮겼다. 재개된 에이전트가 컨텍스트 전체를 다시 계산하는 상황, 즉 KV 캐시(key/value 캐시)를 버리고 다시 채우는 비용을 다루고, 그 캐시를 복원해 첫 토큰을 바로 내는 구조를 보여주는 구성이 중심이다. 화면에 띄울 문구로 재계산 13~91초, 복원 후 첫 토큰 약 0.2초, TTFT 500배 감소, q4 KV 기준 GB당 에이전트 수 3.6배를 적었다. sha256이 같은지 확인하는 비트 동일성(bit-exact) 검사, 자기초안 디코딩 경쟁 장면, 슬롯 관리자(slot manager)와 `--swa-full` 처리, KleidiAI i8mm/SVE2로 Neoverse용 llama.cpp를 빌드하는 공개 CI 실행을 보여주라는 지침도 함께 들어 있다.

제출 조건과 평가 대응 목록도 붙었다. 영상만으로 채점될 수 있어 화면 수치를 모두 띄우라는 지침과, 3분 이내·Arm64 실행·영어·공개 업로드·저작권 없는 음악 같은 제출 규칙이 적혀 있다. 기술 40점은 동점 판정 기준까지 맡겼고, WOW 25점은 500배 수치와 비트 동일성을 앞세우라 했고, 임팩트 20점에는 2026년 멀티에이전트 워크로드와 arXiv:2603.04428의 첫 llama.cpp/Arm64 포트라는 설명을, DX 15점에는 한 명령 복사형 README와 무료 CI 재현을 대응시켰다. 촬영은 Arm64 장비(M4 또는 Graviton)에서 하거나 공개 Arm64 CI 실행을 화면 캡처로 대신하고, 모델 로딩은 카메라 밖에서 미리 끝내 두라고 안내한다.

다만 커밋이 건드린 것은 문서 한 장뿐이다. 500배와 3.6배 같은 수치는 이 커밋에 실린 측정 결과가 아니라 화면에 올릴 문구이고, 원본은 저장소 README와 공개 CI 실행 쪽이다. 성능 근거는 이번 diff 밖에 있으며, 여기서 확인할 수 있는 것은 데모 서사의 압축과 구성 문서화뿐이다. 구현이 달라졌는지는 코드 커밋을 따로 봐야 한다.