새 소식
professorpalmer/bonsai-ada-surgery bundle-20261017b — 12GB 서빙 레시피
Bonsai 2 27B를 12GB RTX 4070에서 서빙하는 레시피와 계층형 KV 캐시 및 도구 문법 최적화를 기록한 저장소다.
Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.
GitHub에서 보기 ↗Bonsai 2 27B를 12GB RTX 4070에서 서빙하는 레시피와 계층형 KV 캐시 및 도구 문법 최적화를 기록한 저장소다.
조건에 맞는 소식이 없습니다.