surya-koritala/glyd は、bf16 の重みと KV キャッシュをより少ないビット数で GPU メモリに保存し、実行時に元の値を復元する Rust の圧縮実装である。最新リリースは v0.31.1。ただし、 제공된 자료에는 이 버전에 새로 바뀐 내용이 적혀 있지 않다.(※原文に誤植)
(訳注: 前の段落の日本語訳は次のとおりです。) surya-koritala/glyd は、bf16 の重みと KV キャッシュをより少ないビット数で GPU メモリに保存し、実行時に元の値を復元する Rust の圧縮実装である。最新リリースは v0.31.1。ただし、提供された資料には、このバージョンで何が変更されたかは記されていない。损失<lossless>路径とは別に有损な経路も提供し、:kestrel は 6.5 ビット、:swift は 5.5 ビットとして区別されている。
この方式の目的は、モデル実行に必要な GPU メモリを減らすことにある。README の実測表によると、vLLM で Qwen3.5-9B を実行した際、重みメモリは RTX 4090 で 17.66 GiB から 12.68 GiB(-28.2%)へ、RTX 5090 で 13.89 GiB(-21.3%)へ減少した。RTX 4090 24GB では、4,096 トークンすら扱えなかったコンテキストが 189,440 トークンまで拡大したとされる。Qwen3.8-27B は H100 で 50.22 GiB から 38.77 GiB(-22.8%)へ減少し、階層行列をビット単位で復元する比較では 49.52 GB から 33.28 GB(-32.8%)という記録になっている。説明にある 33% はこの比較値に対応する。
実行条件は Linux x86_64 または aarch64、NVIDIA Ampere 以降の GPU、およびドライバー 580 以降である。インストール方法としては、shell スクリプトと vLLM 向けの glyd 量子化バックエンドが提示されている。公開されている性能数値はプロジェクト README の実測表に限られており、これを他のモデルや環境の結果として一般化する根拠は示されていない。したがってメモリ削減の可能性は具体的だが、適用前には該当環境で結果を確認する必要がある。