zhulinsen/litemoe

zhulinsen/litemoe は、vLLM の一部カーネルを活用しながら推論の流れを自前で構成した Python ベースの MoE エンジンです。

GitHub の説明: A MoE inference engine you can read in an afternoon.

スター

★ 2

フォーク

0

言語

Python

ライセンス

Apache-2.0