kindlingai/glm-5.3-flash-exlr8-1x-spark 是一个仓库,提供在单台 DGX Spark 上使用 gr8 运行 GLM-5.3-Flash 的 Docker 部署配置。目前没有公开的最新版本,README 描述的是把 K2 权重与 int4 键值缓存、DFlash2 推测解码、基于磁盘的提示词缓存结合起来的配置。该仓库采用 MIT 许可证。
该配置说明在单台设备上运行模型时,如何在速度优先设置和长上下文优先设置之间做选择。并发请求数与上下文长度均可调节,README 给出的配置可同时处理 4 个请求。提示词缓存把上下文保存在磁盘上,int4 键值缓存和 DFlash2 推测解码也包含在运行配置中。因此该仓库的重点不是介绍新模型或独立库,而是把 GLM-5.3-Flash 部署到单台设备的配置以及容量调节方法。
README 报告默认配置下每秒 54.2 个令牌,支持最大 262144 令牌的请求。这是 README 中所列单台设备的实测值,并明确说明在长上下文配置下处理速度会下降。因此与其把这些数字推广为在其他设备或设置下也可期待的性能,不如将其限定为该部署配置作者自己的测量结果来看待。