Devotd Github
新发现大语言模型基础设施

afdep/afdep-comm v1.0.0 — 用于 AFD 的 expert-parallel 通信层

afdep/afdep-comm v1.0.0 提供了在分离 Attention 与 FFN 的配置中交换令牌与结果的通信层。

仓库信息afdep/afdep-comm ↗

afdep/afdep-comm v1.0.0 提供了在分离 Attention 与 FFN 的配置中交换令牌与结果的通信层。

GitHub 项目说明: Expert-parallel communication for Attention–FFN Disaggregation (AFD), built on DeepEP V2

星标
★ 30
复刻
0
语言
Python
许可证
Apache-2.0
最新版本
v1.0.0
查看原始来源 ↗在 GitHub 查看 ↗

afdep/afdep-comm 是 AFD(Attention–FFN Disaggregation)配置的 expert-parallel 通信层,该配置将 Attention 与 FFN(前馈网络)放置在不同的 GPU 上。最新版本为 v1.0.0。不过,给出的仓库说明中并未列出这一版本有哪些新改动。

该仓库负责把令牌发送给专家并回传计算结果的通信。它是将 DeepEP V2 内核针对这两种角色调整后的研究实现,用 Python 编写。路由、专家计算和服务调度仍由调用方承担。因此它的重点不是完整的 MoE 推理系统,而是其中的通信路径。仓库基于相同的内核和执行流程给出对比测量,并区分说明了单个 NVLink 域内的路径与连接多个域的路径。许可证为 Apache-2.0。

测量结果所覆盖的范围仅限于仓库中给出的基准实现和执行流程。它并非展示包含路由或专家计算在内的整个系统性能的资料,因此难以作为超出这一范围的性能判断依据。v1.0.0 的具体变更内容在可查证的说明中同样没有,因此目前更适合将其视为用于了解该通信层实现和测量范围的资料。