surya-koritala/glyd 是一个 Rust 压缩实现，它说明如何以更少的比特把 bf16 权重和 KV 缓存保存在 GPU 内存中，并在运行时还原出原始数值。最新版本是 v0.31.1。不过现有资料没有说明这一版本具体有哪些改动。除无损路径外，它还提供有损路径，其中 :kestrel 为 6.5 比特，:swift 为 5.5 比特。
这种方式的目的是减少运行模型所需的 GPU 内存。按照 README 中的实测表，在 vLLM 中运行 Qwen3.5-9B 时，权重内存在 RTX 4090 上从 17.66 GiB 降到 12.68 GiB（-28.2%），在 RTX 5090 上降到 13.89 GiB（-21.3%）。据称在 RTX 4090 24GB 上，此前连 4,096 token 都无法处理的上下文可扩展到 189,440 token。Qwen3.8-27B 在 H100 上从 50.22 GiB 降到 38.77 GiB（-22.8%），在按比特还原分层矩阵的对比中记录为 49.52 GB 降到 33.28 GB（-32.8%）。说明中的 33% 即对应这一对比数值。
运行条件是 Linux x86_64 或 aarch64、NVIDIA Ampere 及以上 GPU，以及 580 及以上的驱动。给出的安装方式包括一个 shell 脚本和面向 vLLM 的 glyd 量化后端。由于公开的性能数据仅限项目 README 中的实测表，并没有依据将其推广到其他模型或环境。因此内存节省的可能性是具体的，但应用前仍需在相应环境中验证结果。