在用户 GPU 上运行大型 MoE 模型的 mw00/project-maya 在 v1.1.41 中新增了多 GPU 提示词处理改进和防止智能体循环的功能。
在用户 GPU 上运行大型 MoE 模型的 mw00/project-maya 在 v1.1.41 中新增了多 GPU 提示词处理改进和防止智能体循环的功能。
GitHub 项目说明: Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
mw00/project-maya 发布了 v1.1.41。这是一个为在用户 GPU 上运行 GLM-5.3-Flash（321B MoE）、DeepSeek-V4.1-Flash-1017（748B MoE）、MiniMax-M3.1-Flash（428B MoE）而打造的项目。本次发布包含来自社区的 36 项贡献。发布说明称，在多 GPU 环境下，启动后首次读取长提示词的速度约快了 1.3 倍。
该项目不仅提供模型执行引擎，还提供服务器、仪表板、兼容 OpenAI 和 Anthropic 的 API 以及量化工具。说明称它支持 1 至 16 张 NVIDIA 或 AMD GPU，并支持 Linux 和 Windows。因此，运行模型所需的组件都可以在一个仓库中查看，也可以选择使用兼容 API 的配置。发布信息还补充道，即使在内存不足的 PC 上速度也有所提升。
v1.1.41 还新增了在轮次切换后仍能生效的防止智能体循环机制。不过发布说明并未说明约 1.3 倍提升的测量环境或对比基准。该数字可以视为发布方报告的结果，但并未给出依据说明在其他环境中也能获得同样的提升。
nandhakishorm/laya v0.4.18 是一个可以选择性开启 MCP 路由诊断、并修复了四个错误以及检查点来源对校验的版本。
ggml-org/llama.cpp 构建 b12015 移除了路径转换函数，并发布了适用于 Mac、Windows 和 Linux 的二进制文件以及证明信息。
将 2026 年 10 月 30 日的 8 个 llama.cpp 构建（b11986~b12008）合并成一篇，整理了新增 OpenCL 2 位量化以及张量复制与 KV 缓存方面的内存节省改动。
没有符合条件的动态。