afdep/afdep-comm

afdep/afdep-comm v1.0.0 は、Attention と FFN を分離した構成でトークンと結果をやり取りする通信層を提供する。

GitHub の説明: Expert-parallel communication for Attention–FFN Disaggregation (AFD), built on DeepEP V2

スター

★ 30

フォーク

0

言語

Python

ライセンス

Apache-2.0

最新リリース

v1.0.0