github.devotd.
릴리스추론/서빙

professorpalmer/bonsai-ada-surgery bundle-20261018f — 대화 저장 계층 개선

professorpalmer/bonsai-ada-surgery의 bundle-20261018f는 긴 대화의 델타 저장과 복원 방식을 개선한 릴리스다.

저장소 정보professorpalmer/bonsai-ada-surgery ↗

Bonsai 2 27B: 262k context (trained max) on 12 GB, 54 to 97 tok/s decode, 2x prefill, q8_0 KV recipe, grammar tool calls 9/9. Same ternary weights. Windows bundle + receipts.

스타
★ 72
포크
6
언어
Python
라이선스
NOASSERTION
최신 릴리스
bundle-20261018f
원문 보기 ↗GitHub에서 보기 ↗

professorpalmer/bonsai-ada-surgery가 2026년 10월 19일 공개한 bundle-20261018f는 긴 대화의 저장 계층을 개선했다. 번갈아 이어지는 대화에서 각 답변 직후 상태를 델타로 저장한다. 델타는 이전 상태와 달라진 부분만 기록하는 방식이다. 다음 차례의 새 프롬프트가 마지막 저장 토큰을 접두사로 포함하면 그 지점부터 복원하도록 바꿨다. 변경 내용은 GitHub 릴리스 설명에 제시돼 있다.

저장소는 Windows 번들과 함께 Bonsai 2 27B를 소개하며, 같은 삼진 가중치를 유지한다고 설명한다. 저장소 설명에 따르면 12 GB에서 262k 컨텍스트를 지원하고, 디코드 속도는 54에서 97 tok/s, 프리필은 2x로 제시된다. q8_0 KV 레시피와 문법 기반 도구 호출 9/9도 설명에 포함돼 있다. 이번 릴리스는 대화 저장을 다루며, 같은 시작점을 공유하는 대화를 따로 저장하고 반복 실패 시 재시도 간격을 조정한다. 메모리 압박 때는 긴 델타 사슬을 전체 저장으로 바꾸고, 최근 사용 중인 다른 대화의 저장을 보호한다. 기능을 환경 변수로 끄는 설정도 추가됐다.

다만 환경 변수의 이름과 재시도 간격의 값은 릴리스 설명에 주어지지 않았다. 저장소 설명의 속도와 컨텍스트 수치에는 측정 조건이 제시되지 않았고, 델타 복원 정확성은 릴리스 설명에 적힌 내용이다. 따라서 이번 변경은 저장과 복원 방식의 개선으로 볼 수 있지만, 제시된 수치나 복원 결과를 뒷받침하는 추가 조건과 검증 자료는 확인할 수 없다.

같은 분야의 다른 프로젝트

로컬 추론 엔진 ↗