github.devotd.
新发现推理与服务

justvugg/colibri v2.0.0 — 支持磁盘流式读取的纯 C MoE 引擎

justvugg/colibri v2.0.0 是一个纯 C 推理引擎,只把需要的专家载入内存、其余部分从磁盘读取,从而能在 8GB 内存环境下运行数千亿参数的 MoE 模型。

仓库信息justvugg/colibri ↗

justvugg/colibri v2.0.0 是一个纯 C 推理引擎,只把需要的专家载入内存、其余部分从磁盘读取,从而能在 8GB 内存环境下运行数千亿参数的 MoE 模型。

GitHub 项目说明: Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

星标
★ 43K
复刻
4.8K
语言
C
许可证
Apache-2.0
最新版本
v2.0.0
查看原始来源 ↗在 GitHub 查看 ↗

justvugg/colibri 是一个纯 C 推理引擎,可在没有图形设备的情况下运行专家混合模型(MoE)——即把庞大的模型拆成若干较小的子模型,只挑选其中需要的部分进行计算。即便面对数千亿参数的 MoE 模型,它也只把需要的专家载入 RAM,其余部分从磁盘读取。GitHub 上公开的最新版本是 v2.0.0。

README 给出的运行起点是内存 8GB 和磁盘可用空间 22GB。安装工具会根据设备规格挑选模型并继续完成下载,同时提供浏览器仪表板以及 OpenAI 兼容和 Anthropic 兼容的地址。README 写明提供用于语言模型的十个引擎,以及用于图像生成与判定的引擎;受支持的引擎共 13 种,其中包括 GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash 等。许可证为 Apache-2.0,仓库创建于 2026-07-01,GitHub 星标数为 43013。

不过,记录中没有 v2.0.0 的变更说明,也没有留下用于测量性能的基准数值。在评估项中,只有动量分数被填为 10.0,其余项目都没有给出分数。8GB 和 22GB 不过是文档提出的起始条件,记录无法确认令牌处理速度和输出质量处于什么水平。因此,眼下更适合把它看作执行路径与所需条件已得到确认的项目,性能评估则留到实际测量之后再做。