miaai-lab/glm-5.3-flash-exl3-2x-dgx-sparks-tensorfold 是一个部署配方,用于通过 TensorFold 在两台 DGX Spark 上服务经 EXL3 量化的 GLM-5.3-Flash。该仓库为这套配置提供模型部署以及启动、停止脚本,并提供提示词复用和工具调用检查方面的资料。没有公开发布的版本,仓库说明中给出了 GLM-5.3-Flash 的服务配置。
这份资料的价值更多在于考察横跨两台设备的推理服务器配置,而非模型本身。README 介绍了 OpenAI 兼容 API、图像与视频输入、工具调用、长上下文处理,以及多个请求的并发处理。配置中包含 EXL3 权重和 FP8 KV 缓存。KV 缓存是保存先前 token 计算结果的区域。草稿生成路径以及两台设备之间的通信也作为组成部分被介绍。这是一个 Python 仓库,采用 Apache-2.0 许可证。
README 的性能表给出了不同并发请求数下的吞吐量和首 token 延迟,但这些只是文档中记录的在特定设备与配置上得到的结果。由于相关测量未被独立复现,因此难以将其作为普遍的性能对比来看待。所以这个仓库更接近于使用两台 DGX Spark 的服务配方的参考资料,并没有依据认为在其他环境中也会得到相同的结果。