Devotd Github
새 소식LLM 인프라

afdep/afdep-comm v1.0.0 — AFD용 expert-parallel 통신 계층

afdep/afdep-comm v1.0.0은 Attention과 FFN을 분리한 구성에서 토큰과 결과를 주고받는 통신 계층을 제공한다.

저장소 정보afdep/afdep-comm ↗

afdep/afdep-comm v1.0.0은 Attention과 FFN을 분리한 구성에서 토큰과 결과를 주고받는 통신 계층을 제공한다.

GitHub 설명: Expert-parallel communication for Attention–FFN Disaggregation (AFD), built on DeepEP V2

스타
★ 30
포크
0
언어
Python
라이선스
Apache-2.0
최신 릴리스
v1.0.0
원문 보기 ↗GitHub에서 보기 ↗

afdep/afdep-comm은 Attention과 FFN(피드 포워드 네트워크)을 서로 다른 GPU에 배치하는 AFD(Attention–FFN Disaggregation) 구성의 expert-parallel 통신 계층이다. 최신 릴리스는 v1.0.0이다. 다만 제공된 저장소 설명에는 이 버전에서 새로 바뀐 항목이 기재돼 있지 않다.

이 저장소는 토큰을 전문가에게 보내고 계산 결과를 되돌리는 통신을 담당한다. DeepEP V2 커널을 이 두 역할에 맞게 조정한 연구 구현이며, Python으로 작성됐다. 라우팅과 전문가 계산, 서비스 일정 관리는 호출하는 쪽에 남는다. 따라서 전체 MoE 추론 시스템이 아니라 그 안의 통신 경로를 살펴보는 데 초점이 있다. 저장소는 같은 커널과 실행 절차를 기준으로 비교 측정을 제시하고, 한 NVLink 영역 안의 경로와 여러 영역을 잇는 경로를 구분해 설명한다. 라이선스는 Apache-2.0이다.

측정 결과가 다루는 범위는 저장소에 제시된 기준 구현과 실행 절차에 한정된다. 라우팅이나 전문가 계산까지 포함한 전체 시스템의 성능을 보여주는 자료는 아니므로, 이를 넘어선 성능 판단의 근거로 삼기는 어렵다. v1.0.0의 구체적인 변경 내역도 확인 가능한 설명에 없으므로, 현재는 통신 계층의 구현과 측정 범위를 파악하는 자료로 보는 편이 적절하다.