afdep/afdep-comm

afdep/afdep-comm v1.0.0은 Attention과 FFN을 분리한 구성에서 토큰과 결과를 주고받는 통신 계층을 제공한다.

GitHub 설명: Expert-parallel communication for Attention–FFN Disaggregation (AFD), built on DeepEP V2

스타

★ 30

포크

0

언어

Python

라이선스

Apache-2.0

최신 릴리스

v1.0.0