blockwayz/agens-engine 是一个 C++ 推理引擎,在单张消费级显卡上运行 Agens Volundr 模型,并以 OpenAI 兼容的聊天 API 对外提供。该仓库创建于 2026 年 10 月 17 日,没有公开发布版本。目前可确认的范围仅限于仓库说明,以及 README 中列出的功能和运行配置。
该引擎的目标是在 GPU 显存预算内同时规划权重和长上下文缓存。它采用逐层混合精度,把每个线性层的权重存储为 2 比特、3 比特和 4 比特,并把保存生成 token 键值的 KV 缓存卸载到主机内存。它还支持使用辅助草稿模型和 MTP 头的推测解码(先生成草稿 token 再一次性验证的方式)、把模型拆分到多张显卡上的运行,以及图像输入。API 与 OpenAI 兼容。16GB 配置可请求最大 262K token 的上下文,但实际可承载量取决于显存和 KV 池大小,设计上在超出内存预算时会中止运行。README 中同时列出了按显卡显存划分的运行配置和限制说明。
不过,服务器、CUDA 内核和一致性测试都已确认存在,但公开的性能声明仍需另行核实复现资料。许可证标记为 NOASSERTION,使用条件不明确。Star 数为 7 个;按 10 分制计,新颖度 8.0、技术 8.0、质量 7.0、动能 1.8。设计相当具体,但性能依据较薄弱。由于动能分数偏低、仓库也刚创建不久,对想在消费级 GPU 上直接运行 Agens Volundr 的人来说,它更接近一个现在值得查看的项目。