nipegun/moe-gguf-server 在 2026 年 11 月 3 日的提交(6a9e2d0)中将整个仓库整体加入了进来。新增 671,979 行,删除 0 行,提交信息为“Tokens... My precious!”。该项目是一个在本地运行 GGUF 格式 MoE(Mixture of Experts,混合专家,即在单个模型内部拆分处理多个子模型的结构)模型的服务器,并提供网页聊天和 HTTP 推理 API。
README 提到 llama.cpp 和 FreeToken,并表明其目标是在 MoE 模型中实现可能的最高推理速度。后端是基于 CMake 的 C++ 代码,分别支持 Vulkan(AMD·Intel·NVIDIA)、CUDA(NVIDIA)、ROCm(AMD)构建路径。还加入了 arm64 Linux、macOS、Windows 以及 riscv64(SpacemiT Linux)用的工具链文件。mgs 读取的 GGUF 架构中枚举了 qwen35moe(Qwen3.6)、glm-dsa(GLM-5.3)、kimi-k3(Kimi-K3)、deepseek41(DeepSeek-V4.1-Flash)、minimax-m3(MiniMax-M3)、flint(Flint)。backend/common 中包含 chat-peg-parser、chat-diff-analyzer 等聊天解析器和变更点分析模块,README 还一并提供了 15 个语言版本。
同一提交中新增的 LICENSE 是 PolyForm Noncommercial License 1.0.0。允许个人使用以及非营利组织(慈善机构、教育机构、公共研究·安全·卫生机构、政府机构)使用,但商业目的不在许可范围内,并且禁止对许可证进行再许可和转让。支撑“最快推理”这一目标的基准数据在该提交中并不存在,README 也说明截图尚未添加。分发方式通过需要 root 权限、仅面向 Debian 13 的安装脚本进行说明,而 ROCm 构建需要 HIP 6.1 及以上版本,仅靠 Debian 13 的默认软件包(HIP 5.7)无法直接构建完成。也就是说,在性能依据无法确认的状态下,还附加了阻断商业使用的条件。