surya-koritala/glyd는 bf16 가중치와 KV 캐시를 GPU 메모리에 더 적은 비트로 보관하고, 실행할 때 원래 값을 복원한다고 설명하는 Rust 압축 구현이다. 최신 릴리스는 v0.31.1이다. 다만 제공된 자료에는 이 버전에서 새로 바뀐 내용이 적혀 있지 않다. 무손실 경로와 별도로 손실 경로도 제공하며, :kestrel은 6.5비트, :swift는 5.5비트로 구분된다.
이 방식의 목적은 모델 실행에 필요한 GPU 메모리를 줄이는 것이다. README의 실측표에 따르면 vLLM에서 Qwen3.5-9B를 실행할 때 가중치 메모리는 RTX 4090에서 17.66 GiB에서 12.68 GiB(-28.2%)로, RTX 5090에서 13.89 GiB(-21.3%)로 줄었다. RTX 4090 24GB에서는 4,096 토큰도 처리하지 못하던 컨텍스트가 189,440 토큰까지 늘었다고 한다. Qwen3.8-27B는 H100에서 50.22 GiB에서 38.77 GiB(-22.8%)로 줄었고, 계층 행렬을 비트 단위로 복원한 비교에서는 49.52 GB에서 33.28 GB(-32.8%)를 기록했다. 설명의 33%는 이 비교값에 해당한다.
실행 조건은 Linux x86_64 또는 aarch64, NVIDIA Ampere 이상 GPU와 드라이버 580 이상이다. 설치 방법으로 셸 스크립트와 vLLM용 glyd 양자화 백엔드가 제시되어 있다. 공개된 성능 수치는 프로젝트 README의 실측표에 한정되므로, 이를 다른 모델이나 환경의 결과로 일반화할 근거는 주어지지 않았다. 따라서 메모리 절감 가능성은 구체적이지만, 적용 전에는 해당 환경에서 결과를 확인해야 한다.