a775828b-dot/xtier

a775828b-dot/xtier は、混合専家モデルの推論を CPU と GPU メモリに分けて配置し、一部の埋め込み行をストレージから読み込む SGLang プラグインである。

GitHub の説明: Cross-tier CPU/GPU hybrid MoE inference for SGLang (plugin, tracks upstream main)

スター

★ 6

フォーク

1

言語

Python

ライセンス

Apache-2.0