justvugg/colibri

justvugg/colibri v2.0.0 は、必要なエキスパートだけをメモリに載せ、残りをディスクから読み込むことで、8GB メモリ環境で数百 B パラメータの MoE モデルを実行できる純 C 推論エンジンです。

GitHub の説明: Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

スター

★ 43K

フォーク

4.8K

言語

C

ライセンス

Apache-2.0

最新リリース

v2.0.0