新着
professorpalmer/bonsai-ada-surgery bundle-20261017b — 12GB サービングレシピ
Bonsai 2 27B を 12GB RTX 4070 でサービングするレシピと、階層型 KV キャッシュおよびツール文法最適化を記録したリポジトリ。
Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.
GitHub で見る ↗Bonsai 2 27B を 12GB RTX 4070 でサービングするレシピと、階層型 KV キャッシュおよびツール文法最適化を記録したリポジトリ。
該当するニュースはありません。