github.devotd.
릴리스LLM 인프라

surya-koritala/glyd v0.32.1 — Gemma 4 생성 속도 개선

surya-koritala/glyd v0.32.1은 특정 조건에서 Gemma 4의 토큰 생성 속도를 높이고 모델 실행 전달 문제를 수정했다.

저장소 정보surya-koritala/glyd ↗

Lossless AI compression: 33% less GPU memory, bit for bit.

스타
★ 255
포크
2
언어
Rust
라이선스
NOASSERTION
최신 릴리스
v0.32.1
원문 보기 ↗GitHub에서 보기 ↗

surya-koritala/glyd v0.32.1은 Gemma 4의 토큰 생성 속도를 개선한 릴리스다. 2026년 10월 17일 공개된 GitHub 릴리스에는 RTX 4080 SUPER와 Gemma 4 12B 조합의 속도 개선, 그리고 glyd fetch와 glyd verify가 모델을 내려받아 실행하도록 잘못 넘기던 문제의 수정이 담겼다. 변경 내용의 출처는 surya-koritala/glyd의 v0.32.1 릴리스다.

Glyd는 손실 없는 AI 압축을 표방하는 프로젝트다. 저장소 설명은 GPU 메모리 사용량을 33% 줄이고 결과를 비트 단위로 동일하게 유지한다고 밝힌다. 속도 비교는 RTX 4080 SUPER와 Gemma 4 12B에서 드래프트 모델을 쓰지 않은 조건이다. 초당 토큰 수는 대화에서 81.2에서 88.9로, 4K 프롬프트 뒤에는 74.7에서 82.1로, 30K 프롬프트 뒤에는 59.5에서 64.0으로 바뀌었다. 드래프팅을 사용했는지와 관계없이 출력은 동일했다고 릴리스는 설명한다.

이 결과가 보여주는 범위는 제한적이다. 지원 환경은 Linux와 NVIDIA RTX 30 계열 이상이며, 처리 대상은 텍스트 단일 요청이다. 따라서 이번 속도 개선은 릴리스에 적힌 GPU·모델 조건과 지원 범위 안에서 해석해야 하며, 다른 환경이나 요청 유형의 성능까지 입증한 결과는 아니다.

같은 분야의 다른 프로젝트

추론 메모리·캐시 ↗