github.devotd.
새 소식추론/서빙

justvugg/colibri v2.0.0 — 디스크 스트리밍 순수 C MoE 엔진

justvugg/colibri v2.0.0은 필요한 익스퍼트만 메모리에 올리고 나머지는 디스크에서 읽어, 8GB 메모리 환경에서 수백B 파라미터 MoE 모델을 구동하는 순수 C 추론 엔진이다.

저장소 정보justvugg/colibri ↗

justvugg/colibri v2.0.0은 필요한 익스퍼트만 메모리에 올리고 나머지는 디스크에서 읽어, 8GB 메모리 환경에서 수백B 파라미터 MoE 모델을 구동하는 순수 C 추론 엔진이다.

GitHub 설명: Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

스타
★ 43K
포크
4.8K
언어
C
라이선스
Apache-2.0
최신 릴리스
v2.0.0
원문 보기 ↗GitHub에서 보기 ↗

justvugg/colibri는 거대한 모델을 여러 작은 부분 모델로 나눠 그중 필요한 것만 골라 계산하는 방식인 전문가 혼합 모델(MoE)을 그래픽 장치 없이 구동하는 순수 C 추론 엔진이다. 수백B 파라미터 MoE 모델에서도 필요한 익스퍼트만 RAM에 올리고 나머지는 디스크에서 읽어 낸다. GitHub에 공개된 최신 릴리스는 v2.0.0이다.

README는 실행의 시작점을 메모리 8GB와 디스크 여유 공간 22GB로 제시한다. 설치 도구가 기기 사양에 맞는 모델을 고르고 내려받기를 이어서 수행하며, 브라우저 대시보드와 OpenAI 호환·Anthropic 호환 주소를 함께 제공한다. README는 언어 모델용 열 개 엔진과 그림 생성·판정용 엔진을 제공한다고 적고, 지원 엔진은 13종이며 GLM-5.2/5.3, Kimi K3, DeepSeek V4 Flash 등이 포함된다. 라이선스는 Apache-2.0이고 저장소는 2026-07-01에 만들어졌으며 GitHub 별은 43013개다.

다만 기록에는 v2.0.0의 변경 내역이 없고, 성능을 측정한 벤치마크 수치도 남아 있지 않다. 평가 항목 중 모멘텀 점수만 10.0으로 채워져 있고 나머지 항목은 점수가 주어지지 않는다. 8GB와 22GB는 문서가 제시한 시작 조건일 뿐, 토큰 처리 속도와 출력 품질이 어느 수준인지는 기록으로 확인할 수 없다. 그래서 지금은 실행 경로와 요구 조건만 확인된 상태로 보고, 성능 평가는 실제 측정 뒤로 미루는 것이 맞다.