纯 C 的 MoE 推理引擎 justvugg/colibri 在 v2.1.0 中扩展了 GGUF 执行、CUDA 与 Vulkan 路径、多模型支持以及对话界面。
纯 C 的 MoE 推理引擎 justvugg/colibri 在 v2.1.0 中扩展了 GGUF 执行、CUDA 与 Vulkan 路径、多模型支持以及对话界面。
GitHub 项目说明: Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
justvugg/colibri v2.1.0 是一次扩展了 GGUF 执行、CUDA 与 Vulkan 路径、多模型支持和对话界面的发布。相关变更记录在 2026-10-31 公开的 GitHub 发布说明中。colibri 是一个纯 C 引擎，用于在用户已有的硬件上运行 MoE 模型；仓库介绍称它无依赖，并从磁盘流式读取专家权重。
该项目的目标是在已经拥有大型 MoE 模型的硬件上运行它们。纯 C 实现、无依赖的构成方式，以及从磁盘读取专家的方式，是仓库所主张设计的核心。本次 v2.1.0 不仅扩展了 GGUF 执行，还扩展了 CUDA 与 Vulkan 路径、多个模型和对话界面，发布说明中如此写道。所提供的发布摘要并未说明各路径的具体运行条件或支持范围。
关于长上下文处理和推理速度的数字，是发布者公开的测量结果。仅凭公开摘要无法得知测量条件或对比对象。因此，很难将其解读为经过独立验证的结果，或可推广到其他硬件的性能保证。本次发布中可确认的变化，是执行路径以及模型与对话界面的扩展，仅凭公开的测量值尚不能断定整体性能提升。
mostlygeek/llama-swap v269 新增了捕获的磁盘存储、嵌入模型支持、指标 PNG 导出以及按模型类型排序。
jundot/omlx v0.7.3 版本介绍了 DeepSeek V4.1 处理、语音对话与网页搜索功能，以及多请求场景下的内存使用改进。
llama.cpp b12024 是一次发布，包含 LFM-SC 二维张量处理的变更以及面向多个操作系统的构建。
没有符合条件的动态。