justvugg/colibri

justvugg/colibri v2.0.0은 필요한 익스퍼트만 메모리에 올리고 나머지는 디스크에서 읽어, 8GB 메모리 환경에서 수백B 파라미터 MoE 모델을 구동하는 순수 C 추론 엔진이다.

GitHub 설명: Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

스타

★ 43K

포크

4.8K

언어

C

라이선스

Apache-2.0

최신 릴리스

v2.0.0