gautam1858/banach는 주 메모리에 전부 들어가지 않는 혼합 전문가 모델(MoE)을 로컬 저장장치에서 읽어 실행하는 추론 도구다. Rust로 작성됐으며 Apache-2.0 라이선스로 공개됐다. 최신 릴리스는 v0.1.3이다. 저장소는 300B–3T 규모의 MoE를 사용자가 보유한 컴퓨터에서 실행하는 것을 목표로 소개한다. 다만 v0.1.3에서 무엇이 바뀌었는지는 제공된 자료에 없다.
이 도구의 핵심은 모델 전체를 주 메모리에 올리는 대신, 선택된 전문가를 저장장치에서 읽어 메모리 예산 안에서 처리하는 방식이다. README에 따르면 계획 명령은 모델 헤더를 바탕으로 예상 속도와 메모리 분배를 계산한다. 저장소는 llama.cpp와 토큰 및 로짓을 대조하는 정확성 검사와 지속적 통합 검사도 설명한다. 게시물은 Kimi K2 같은 1조 파라미터급 모델을 64GB 데스크톱에서 시도하는 접근을 제시한다.
성능 근거로 제시된 것은 게시물의 22GB 모델 비교다. 저장소는 해당 모델에서 llama.cpp보다 프롬프트 처리가 2.2배 빠르다고 보고했지만, 이는 프로젝트가 직접 제시한 수치이며 프롬프트 처리에 한정된다. 다른 모델이나 실행 조건에서의 성능은 제공된 자료에 없다. 따라서 넓은 성능 우위를 확인한 결과라기보다, 대형 MoE를 로컬 저장장치에서 실행하려는 접근의 초기 근거로 보는 편이 타당하다.