gautam1858/banach

gautam1858/banach는 NVMe에서 혼합 전문가 모델을 읽어 실행하는 Rust 추론 도구다.

GitHub 설명: Runs everything, needed for the giants. Local LLM inference that fits 300B–3T Mixture-of-Experts models onto the machine you already own: exact weights on NVMe, a precision ladder in RAM, certified fidelity, honest predictions before you download.

스타

★ 6

포크

0

언어

Rust

라이선스

Apache-2.0

최신 릴리스

v0.1.3