davide-troiani/moeshift 是一个 C++ 推理工具,用于在 Apple 芯片上本地运行大型混合专家模型(Mixture-of-Experts, MoE)。MoE 是一种在多个专家中挑选其中一部分进行计算的模型结构。该项目以内存效率和处理性能为目标,并以 MIT 许可证公开。资料中没有记录新的发布版本或版本变更。因此,本次介绍能够确认的内容并不是某个特定版本的变化,而是仓库所描述的实现与使用范围。
README 给出了在 Mac mini M4 Pro 上针对 Qwen 3.8 Flash Next 和某个特定量化模型,将 Strata 与内存占用及处理速度进行对比的结果。量化是一种以更少内存来处理模型权重的表达方式。README 中还包含直接下载模型文件、准备并验证专家权重,然后运行本地服务器的流程。这表明该仓库并非只是介绍模型,而是指导在 Apple 芯片上运行这一过程的工具。
不过该项目仍处于 alpha 阶段,README 也说明它变化很快,可能存在粗糙之处。所给出的对比针对的是 Mac mini M4 Pro 和某个特定量化模型,因此现有资料并未提供依据说明在其他设备或模型上也能得到相同的内存占用和处理速度。对比结果的具体数值在这份资料中同样没有给出。所以现阶段与其说是在判断整体性能优势,更接近于考察 Apple 芯片本地 MoE 推理的实现与使用流程。