justvugg/colibri

justvugg/colibri v2.0.0 是一个纯 C 推理引擎，只把需要的专家载入内存、其余部分从磁盘读取，从而能在 8GB 内存环境下运行数千亿参数的 MoE 模型。

GitHub 项目说明: Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

星标

★ 43K

复刻

4.8K

语言

C

许可证

Apache-2.0

最新版本

v2.0.0