Devotd Github
新发现推理与服务

a775828b-dot/xtier — 面向 SGLang 的 CPU/GPU 混合 MoE 插件

a775828b-dot/xtier 是一个 SGLang 插件,将混合专家模型推理拆分到 CPU 与 GPU 内存,并从存储中读取部分嵌入行。

仓库信息a775828b-dot/xtier ↗

a775828b-dot/xtier 是一个 SGLang 插件,将混合专家模型推理拆分到 CPU 与 GPU 内存,并从存储中读取部分嵌入行。

GitHub 项目说明: Cross-tier CPU/GPU hybrid MoE inference for SGLang (plugin, tracks upstream main)

星标
★ 6
复刻
1
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

a775828b-dot/xtier 是一个在 SGLang 中将混合专家模型(MoE)拆分到 CPU 与 GPU 上进行推理的 Python 插件。根据仓库说明,它跟随上游项目的 main 分支。FACTS 中未列出最新发行版,因此无法确认本次发布的特定版本或变更。本文可以考察的对象是 GitHub 仓库中公开的项目结构与说明。

该插件按照专家的使用频率,将各个专家放置在 GPU 内存或主机内存中,并在需要的一侧进行计算。大型嵌入表会把部分行放在存储设备上并从中读取。README 说明,它采用封装标准混合专家模块的方式,因此无需为每个模型单独编写代码,就可以让多个模型以混合模式运行。仓库中包含后端、缓存、调度器以及按模型划分的优化集合,还包含测试目录、基准测试脚本与结果,以及不同配置下的运行资料。

不过 README 表示项目仍处于早期开发阶段,并说明支持部分模型需要 SGLang 的单独分支。仅凭公开的基准测试资料无法复现相应的性能数据,因此难以判断实际吞吐量或内存节省效果。因此目前它更接近一个可用于观察 SGLang 混合推理实现结构的早期插件。