Devotd Github
新发现推理与服务

helldez/bigmoeonedge 0.40.1 — 同步 llama.cpp v0.9.0 上游

BigMoeOnEdge 0.40.1 是一次将内置 llama.cpp 升级到上游 v0.9.0(2026-11-04)标签的发布,同时带入了新架构支持和 FP8 E4M3 张量类型。

仓库信息helldez/bigmoeonedge ↗

BigMoeOnEdge 0.40.1 是一次将内置 llama.cpp 升级到上游 v0.9.0(2026-11-04)标签的发布,同时带入了新架构支持和 FP8 E4M3 张量类型。

GitHub 项目说明: Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, lossless, on stock llama.cpp

星标
★ 626
复刻
74
语言
C++
许可证
Apache-2.0
最新版本
v0.29.0
查看原始来源 ↗在 GitHub 查看 ↗

helldez/bigmoeonedge 于 2026-11-06 发布了 0.40.1。这是一个致力于在 llama.cpp 之上运行大于 RAM 的 MoE(Mixture of Experts,混合专家,每 token 只计算一部分 expert 以降低成本)模型的项目,仓库说明称即使在 12 GB 级手机上也能无损运行 frontier 级 MoE。本次提交将内置 llama.cpp 子模块升级到上游标签 v0.9.0(2026-11-04,cd959ba),从 2026-10-28 的基线 8ca4060 追平了 164 个提交。fork 分支 bmoe/expert-ready-hook-0411 仅将一个 expert-ready-hook 提交无冲突地合并到该标签。

根据 CHANGELOG 记录,v0.9.0 带来的是新架构支持和张量类型方面的东西。新支持的架构包括 Clover-35B-A3B、Mistral Large 4、Metis-1.6、DeepSeek V4.1 Flash、LFM3 系列、Nemotron Bolt 74B-A9B 和 Kolibri-1,同时一并加入了 FP8 E4M3 张量类型以及与 Gemma 4 E2B/E4B 的 prefill 相关的工作。引擎侧无需改动;expert-ready-hook 仍然早于上游的 tiled mul_mat_id 路径触发,CPU seam 文件中只添加了 FP8 E4M3 类型,调度器的 eval 回调周边未被触碰。补丁规模为 30 个文件、新增 21 行、删除 9 行,引擎、应用与 CHANGELOG 的版本统一为 0.40.1。

验证仅限于提交消息所披露的范围。41 个主机测试(含 overlap gate)全部通过,并且有记录显示在两次运行中,实际 35B 模型上的 --auto 与此前固定状态产生了相同的 greedy 文本,且每 token 的 CPU 时间相同。新架构列表同样只是该标签所提供的信息,并非在此引擎上测得的结果。没有给出吞吐量或速度数值;这是项目方的报告,而不是独立测量。新架构是否真的带来质量与性能,目前判断为时过早。