yuhai-china/ds4-spark는 antirez/ds4를 기반으로 DeepSeek V4 Flash를 로컬에서 구동하는 추론 엔진이며, Markov 추측 디코딩(speculative decoding, 즉 후보 토큰을 먼저 계산해 함께 검증하는 방식)을 쓴다. 2026년 6월 29일 커밋 9ba9202가 바꾼 부분은 이 추측 경로에서 draft 토큰을 만드는 쪽이다. 42번째 층의 은닉 상태(hidden state, HC)에 출력 헤드(output head)를 GPU에서 바로 적용해 draft 후보를 만드는 구조로 바뀌었다.
출력 헤드는 은닉 상태를 어휘(vocab) 크기의 점수 배열(logits)로 바꿔 다음 토큰 후보를 고르는 마지막 부분이다. 이번 커밋은 42층 HC를 GPU에 저장해 둔 시점에 Metal 커맨드 버퍼 안에서 출력 헤드 encode를 한 번 더 실행해 결과를 markov_logits_gpu에 남기고(505 KiB), 명령이 끝난 뒤 markov_logits_cpu로 되읽는다(505 KiB CPU). 그 결과 draft 단계에는 이미 계산된 로짓의 argmax만 남았다. 커밋 메시지는 이 과정을 sub-ms로 설명하고, 없어진 CPU 측 Q8_0 역양자화(dequant)가 500M 스칼라 곱셈·덧셈의 병목이었다고 적는다. 함께 weights_validate_layout의 output 텐서 검사는 Q8_0 타입 요구를 빼고 일반 레이아웃 검사만 남도록 바뀌었다.
다만 이 커밋은 성능 수치를 내놓지 않는다. 커밋 메시지가 스스로 적은 다음 단계가 완전한 GGUF 재빌드를 앞둔 추측 디코딩 적중률(hit rate) 검증이었고, 그 결과는 아직 제시되지 않았다. GPU와 CPU에 505 KiB씩 추가된 버퍼 비용도 함께 따라온다. 패치에 보이는 변경은 Metal 커맨드 버퍼 경로에 한정돼 있어 다른 백엔드에는 어떤 영향이 있는지는 주어지지 않는다. 수정된 파일은 ds4.c 하나, 변경 38줄(추가 31, 삭제 7)이다. 저장소 설명에는 DeepSeek V4 Flash용 로컬 추론 엔진이라는 설명만 있고 라이선스나 벤치마크는 명시되어 있지 않다. 소스는 github.com/yuhai-china/ds4-spark의 커밋 9ba9202다.