a775828b-dot/xtier 是一个在 SGLang 中将混合专家模型(MoE)拆分到 CPU 与 GPU 上进行推理的 Python 插件。根据仓库说明,它跟随上游项目的 main 分支。FACTS 中未列出最新发行版,因此无法确认本次发布的特定版本或变更。本文可以考察的对象是 GitHub 仓库中公开的项目结构与说明。
该插件按照专家的使用频率,将各个专家放置在 GPU 内存或主机内存中,并在需要的一侧进行计算。大型嵌入表会把部分行放在存储设备上并从中读取。README 说明,它采用封装标准混合专家模块的方式,因此无需为每个模型单独编写代码,就可以让多个模型以混合模式运行。仓库中包含后端、缓存、调度器以及按模型划分的优化集合,还包含测试目录、基准测试脚本与结果,以及不同配置下的运行资料。
不过 README 表示项目仍处于早期开发阶段,并说明支持部分模型需要 SGLang 的单独分支。仅凭公开的基准测试资料无法复现相应的性能数据,因此难以判断实际吞吐量或内存节省效果。因此目前它更接近一个可用于观察 SGLang 混合推理实现结构的早期插件。