professorpalmer/bonsai-ada-surgery의 최신 릴리스 bundle-20261017b는 Bonsai 2 27B를 12GB RTX 4070에서 서빙하는 레시피와 측정 기록을 담았다. 저장소는 1.58비트 삼진 양자화 가중치를 재양자화하지 않고 PrismML 포크 llama.cpp에서 구동하는 방법을 다룬다. q8_0 KV 캐시로 모델의 학습 최대 컨텍스트인 262,144토큰을 유지한다.
핵심은 계층형 KV 캐시다. 약 119k 위치까지 KV를 VRAM에 두고, 이후에는 시스템 RAM을 사용한다. README의 단일 슬롯 측정표(2026-10-08, RTX 4070 12GB)에서 디코드는 4k의 102 tok/s에서 258k의 8.6 tok/s로 낮아졌고, 프리필은 1,173 tok/s에서 436 tok/s로 낮아졌다. 도구 스키마 문법 복사를 이진 탐색으로 바꾼 최적화도 기록했다. 107개 도구 기준 63k에서 처리량은 41.8 tok/s에서 61.2 tok/s로 올랐다고 보고한다.
다만 제시된 성능과 벤치마크는 모두 단일 RTX 4070에서의 자체 측정이다. 독립 재현 자료는 Windows 번들과 스크립트에 의존하며, 라이선스는 NOASSERTION으로 표시돼 재사용 조건이 주어지지 않았다. 따라서 이 기록은 특정 환경의 서빙 결과로 읽는 편이 타당하고, 다른 환경의 성능을 보장하지는 않는다.