github.devotd.
新发现推理与服务

mw00/project-maya v1.1.15 — 面向旧款 GPU 的 GLM-5.3-Flash 引擎

mw00/project-maya 是一个 C++ 引擎,将 expert 分散到 GPU、RAM 和 NVMe SSD 上,在个人 GPU 上运行 GLM-5.3-Flash。

仓库信息mw00/project-maya ↗

Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.

星标
★ 1K
复刻
136
语言
C++
许可证
MIT
最新版本
v1.1.15
查看原始来源 ↗在 GitHub 查看 ↗

mw00/project-maya 的最新版本是 v1.1.15。该项目是一个专用引擎,用于在个人 GPU 上运行 321B MoE 模型 GLM-5.3-Flash。已提供的信息中没有 v1.1.15 的变更记录,因此无法确认本次版本有哪些改动。

其核心是一种分层内存方案:把模型中的 expert 分散放置在 GPU、RAM 和 NVMe SSD 上,并在对话过程中在层级之间迁移。常用 expert 放在 GPU,其次放在 RAM,其余放在 SSD。项目提供五种自研量化文件,除 M-Derisked 外的四种在仓库说明中给出的零样本准确度为 FP8 模型的 97.7~99.2%。它还提供兼容 OpenAI 和 Anthropic 的 API、最多 8 个并发请求、浏览器聊天界面以及监控面板。这是一个采用 MIT 许可证的 C++ 项目。

性能表中的数据来自用户提交的实测:4x RTX 4090 上 decode 为 118 tok/s、prefill 为 4129 tok/s;单张 RTX 5090 为 23~30+ tok/s;单张 RTX 3090 为 26~27 tok/s;AMD Radeon 8065S 最高为 29.6 tok/s。对旧款 NVIDIA Pascal 架构的支持仍属实验性。因此这些数字只是展示各类硬件潜力的参考值,实际性能会随配置而变化。