Devotd Github
新发现推理与服务

appatalks/synapse — 包含本地 MoE 推理实验的应用

appatalks/synapse 是一个 Python 应用,在本地聊天和模型控制功能之上加入了 GPU/CPU 分布式 MoE 推理实验。

仓库信息appatalks/synapse ↗

appatalks/synapse 是一个 Python 应用,在本地聊天和模型控制功能之上加入了 GPU/CPU 分布式 MoE 推理实验。

GitHub 项目说明: Run MoE open weight models, faster - on local hardware.

星标
★ 2
复刻
0
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

appatalks/synapse 中的 SYNAPSE 是一个 Python 应用,把本地聊天、模型控制、硬件监控和 OpenAI 兼容 API 集中在一处。仓库说明提出的目标是在本地硬件上更快地运行开放权重的混合专家模型(MoE)。最新发布版本未在 FACTS 中给出。仓库标注为 MIT 许可证。

可选的实验引擎是一种把超出 GPU 容量的 MoE 拆分运行的配置。常用专家留在 GPU 上,较少使用的专家则在 CPU 上运行。设计目标之一是不丢弃模型路由器所选专家的贡献,也不裁剪或重新量化目标权重。不同模型系列的专家数量、选择方式和投影结构各不相同,因此难以使用统一的批处理规则。仓库说明称,它利用从张量中提取的技术描述向量来做批处理判断。这项工作整合了上游 llama 的专家缓存,并不声称是新想法。

实验性加速在 Linux/NVIDIA 的研究用后端中提供,但质量验证尚未完成。吞吐量依据仅限于作者一侧的三个样本,严格标准下的对数概率比较和答案检查也尚未通过。在某一个模型系列上,原生等价性也被破坏。因此,仅凭目前的证据还难以认为速度目标与输出质量已同时实现,并且应当与标准执行路径区分开来考察。