professorpalmer/mirai-s-ada 저장소가 2026년 10월 26일 bundle-20261026을 내놨다. 저장소 설명을 따르면 이 프로젝트는 12 GB VRAM의 RTX 4070에서 Qwen3.8-27B-S 트레리스 GGUF(Mirai S)를 다루고, 262k q8_0 계층형 캐시와 깊이별 MTP 드래프팅을 쓴다. 이번 커밋은 RELEASE-NOTES.md에 11줄을 덧붙인 노트 커밋이며, 모델 파일은 그대로인 채 엔진 바이너리를 새 것으로 바꿨다. 엔진 커밋은 2c49257ea, 브랜치는 serve/qkv-prefetch다.
손댄 곳은 텐서 코어 어텐션 커널 하나다. q8_0 캐시를 쓰는 상태에서 각 스레드가 K·Q 계산에 들어가기 전에 다음 타일의 K와 V 데이터를 먼저 읽어들이고, K·Q와 softmax가 실행되는 동안 V 데이터가 도착하도록 바꿨다. 계산 순서와 산술은 그대로 두고 메모리 읽기만 앞당긴 변경이다.
목적은 긴 컨텍스트에서 지연을 줄이면서 출력은 그대로 두는 것이다. 노트에 따르면 로짓(logits)은 bundle-20261019d와 바이트 단위로 같고, 테스트 셀 5개에서 프롬프트 배치와 1~8토큰 배치를 모두 확인했다. RTX 4070에서 llama-bench로 잰 값은 프롬프트 배치가 32k 컨텍스트에서 1.034배, 64k에서 1.058배, 디코드가 1.009배와 1.014배였다. 같은 변경은 자매 배포인 Bonsai serve의 패치 0072에도 그대로 들어갔다.
다만 이 수치는 저장소 측에서 자기 RTX 4070로 잰 llama-bench 값일 뿐 독립 측정이 아니다. 개선 폭도 1.009배에서 1.058배 사이로, 이득이 가장 큰 구간은 64k 컨텍스트의 프롬프트 처리 쪽이다. 적용 범위도 q8_0 캐시를 쓰는 어텐션 커널로 한정되고, 런처·레이어·테스트 스위트는 바뀌지 않았다. 다른 GPU나 다른 모델 파일에서의 결과는 주어지지 않았으므로, 이 번들이 특정 환경에서 얼마나 유용한지는 아직 판단하기 이르다. 읽어둘 만한 최적화지만, 범용적인 속도 향상으로 받아들이기에는 근거가 부족하다.