mw00/project-maya 的最新版本是 v1.1.15。该项目是一个专用引擎,用于在个人 GPU 上运行 321B MoE 模型 GLM-5.3-Flash。已提供的信息中没有 v1.1.15 的变更记录,因此无法确认本次版本有哪些改动。
其核心是一种分层内存方案:把模型中的 expert 分散放置在 GPU、RAM 和 NVMe SSD 上,并在对话过程中在层级之间迁移。常用 expert 放在 GPU,其次放在 RAM,其余放在 SSD。项目提供五种自研量化文件,除 M-Derisked 外的四种在仓库说明中给出的零样本准确度为 FP8 模型的 97.7~99.2%。它还提供兼容 OpenAI 和 Anthropic 的 API、最多 8 个并发请求、浏览器聊天界面以及监控面板。这是一个采用 MIT 许可证的 C++ 项目。
性能表中的数据来自用户提交的实测:4x RTX 4090 上 decode 为 118 tok/s、prefill 为 4129 tok/s;单张 RTX 5090 为 23~30+ tok/s;单张 RTX 3090 为 26~27 tok/s;AMD Radeon 8065S 最高为 29.6 tok/s。对旧款 NVIDIA Pascal 架构的支持仍属实验性。因此这些数字只是展示各类硬件潜力的参考值,实际性能会随配置而变化。