Devotd Github
새 소식추론/서빙

helldez/bigmoeonedge 0.40.1 — llama.cpp v0.9.0 업스트림 반영

BigMoeOnEdge 0.40.1은 내장 llama.cpp를 업스트림 v0.9.0(2026-11-04) 태그로 올려 새 아키텍처 지원과 FP8 E4M3 텐서 타입을 함께 넣은 릴리스다.

저장소 정보helldez/bigmoeonedge ↗

BigMoeOnEdge 0.40.1은 내장 llama.cpp를 업스트림 v0.9.0(2026-11-04) 태그로 올려 새 아키텍처 지원과 FP8 E4M3 텐서 타입을 함께 넣은 릴리스다.

GitHub 설명: Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, lossless, on stock llama.cpp

스타
★ 626
포크
74
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.29.0
원문 보기 ↗GitHub에서 보기 ↗

helldez/bigmoeonedge가 2026-11-06에 0.40.1을 공개했다. RAM보다 큰 MoE(Mixture of Experts, 매 토큰마다 일부 expert만 계산해 비용을 줄이는 구조) 모델을 llama.cpp 위에 올려 구동하려는 프로젝트로, 저장소 설명은 12 GB급 폰에서도 frontier급 MoE를 손실 없이 실행한다고 밝힌다. 이번 커밋은 내장 llama.cpp 서브모듈을 업스트림 태그 v0.9.0(2026-11-04, cd959ba)으로 올린 것이고, 2026-10-28의 기준선 8ca4060에서 164개 커밋을 따라잡았다. 포크 브랜치 bmoe/expert-ready-hook-0411은 그 태그에 expert-ready-hook 커밋 하나만 충돌 없이 병합했다.

CHANGELOG 기록에 따르면 v0.9.0가 가져온 것은 새 아키텍처 지원과 텐서 타입 쪽이다. 새로 지원 아키텍처로 Clover-35B-A3B, Mistral Large 4, Metis-1.6, DeepSeek V4.1 Flash, LFM3 계열, Nemotron Bolt 74B-A9B, Kolibri-1이 들고, FP8 E4M3 텐서 타입과 Gemma 4 E2B/E4B의 prefill 관련 작업이 함께 들어왔다. 엔진 쪽 변경은 필요하지 않았고, expert-ready-hook는 업스트림의 tiled mul_mat_id 경로보다 앞서 여전히 발화하며, CPU seam 파일에는 FP8 E4M3 타입만 추가되고 스케줄러의 eval 콜백 주변은 건드리지 않았다. 패치 규모는 30개 파일에 21줄 추가와 9줄 삭제이며, 엔진·앱·CHANGELOG의 버전이 0.40.1로 맞춰졌다.

검증은 커밋 메시지가 밝힌 범위뿐이다. 호스트 테스트 41개가 overlap 게이트를 포함해 모두 통과했고, 실제 35B 모델에서 --auto가 이전 고정 상태와 같은 greedy 텍스트를 토큰당 같은 CPU 시간에 냈다는 기록이 두 번의 실행에 걸쳐 있다. 새 아키텍처 목록도 태그가 제공한다는 설명일 뿐, 이 엔진에서 측정한 결과는 아니다. 처리량이나 속도 수치는 제시되지 않았고, 이는 독립 측정이 아니라 프로젝트 측 보고다. 새 아키텍처들이 실제 품질과 성능을 내는지는 아직 판단하기 이르다.