surya-koritala/glyd v0.32.1 是提升 Gemma 4 令牌生成速度的版本。该 GitHub 版本于 2026 年 10 月 17 日发布,包含 RTX 4080 SUPER 与 Gemma 4 12B 组合下的速度改进,以及修复 glyd fetch 和 glyd verify 错误地让模型下载并运行的问题。这些变更的来源是 surya-koritala/glyd 的 v0.32.1 版本。
Glyd 是一个主打无损 AI 压缩的项目。仓库说明称它能减少 33% 的 GPU 内存占用,同时让结果保持逐位一致。速度对比使用的是 RTX 4080 SUPER 和 Gemma 4 12B,未使用草稿模型。每秒令牌数在对话场景下从 81.2 提升到 88.9,在 4K 提示词之后从 74.7 提升到 82.1,在 30K 提示词之后从 59.5 提升到 64.0。该版本说明,无论是否使用草稿输出,生成结果都相同。
这些结果所能说明的范围是有限的。受支持的运行环境是 Linux 与 NVIDIA RTX 30 系列及更新显卡,处理对象是单条文本请求。因此,这次速度改进应在该版本所列的 GPU、模型条件和支持范围内理解,它并未证明其他环境或其他请求类型下的性能。