mohammadhaishemkhawaja/hashyy는 12 GB GPU 한 장에서 가지치기하지 않은 177B MoE 모델을 11.5 tok/s로 처리한다고 밝히는 llama.cpp용 expert streaming 프로젝트다. 설명란에는 측정 하네스와 지나온 실패도 함께 담는다고 적혀 있다. 2026-10-03 커밋 6189bf3은 코드가 아니라 README.md 한 파일만 손댄 문서 변경으로, 추가 17줄과 삭제 1줄이 전부다. 바뀐 대상은 측정표의 한 행이었고, 커밋은 그 행이 무엇을 측정하는지 설명하는 변경이라고 밝힌다.
README는 기존 표기 'as inherited'를 'baseline'으로 바꾸고, baseline은 stock llama.cpp가 아니라고 못박는다. 이 프로젝트에는 README가 다루는 변경 이전에도 이미 두 차례의 작업이 들어 있었다고 설명하며, 그 목록으로 PR #25294 fork, 다시 쓰인 Windows 읽기 경로, 저장되는 heat map, --poll 0을 든다. 측정 조건도 함께 적혀 있다. 같은 바이너리에서 LLAMA_MOE_STREAM_ONE_HANDLE=1로 예전의 단일 공유 파일 핸들을 되돌리고, I/O 스레드 9개, --poll 0 없이, hot file 없이, -c 4096으로 before와 after 두 팔을 번갈아 실행했다는 것이다. OS 페이지 캐시만으로 결과가 3-5% 흔들린다고 적고, 다른 빌드나 다른 날짜에서 얻은 숫자와 비교하는 것은 별 의미가 없다고 결론짓는다.
이 문서에서 8.14 tok/s는 이 프로젝트에 대해 앞서 인용됐던 값인데, README는 그것이 더 느슨한 이전 프로토콜의 warm 측정치였고, 표의 5.85 – 7.07은 bench/sweep.py --cold로 잰 cold 측정치라고 밝힌다. cold-to-cold만 이 파일에서 인용되는 비교라고 명시한다. 표의 나머지 값은 서로 다른 프롬프트를 번갈아 쓰는 경우가 11.43 – 11.58, 같은 조건의 cold start가 11.55 – 11.57, 새 대화를 턴 단위로 이어가는 경우가 9.1 → 13.4(중앙값 10.30)이고, 표 아래 요약은 ~7.0 → 11.6 tok/s, +65%다.
다만 이번 변경은 설명뿐이다. 성능 개선이나 코드 수정은 없으므로, 저장소가 더 빨라졌다는 뜻으로 읽을 수는 없다. 표의 숫자와 +65% 요약은 모두 저장소가 스스로 정리한 값이지 독립 검증이 아니다. 페이지 캐시만으로 3-5% 흔들린다는 기록 아래에서는 warm 8.14 tok/s와 cold 5.85 – 7.07을 나란히 놓을 때 조건이 다르다는 점을 함께 기억해야 한다. 숫자를 그대로 옮겨 쓰는 것보다, 각 값이 어떤 조건에서 나왔는지 먼저 읽는 편이 맞다.