a775828b-dot/xtier

a775828b-dot/xtier 是一个 SGLang 插件，将混合专家模型推理拆分到 CPU 与 GPU 内存，并从存储中读取部分嵌入行。

GitHub 项目说明: Cross-tier CPU/GPU hybrid MoE inference for SGLang (plugin, tracks upstream main)

星标

★ 6

复刻

1

语言

Python

许可证

Apache-2.0