srkrz23/vramkit

Lossless-verified VRAM compression for LLM inference: a weight codec (-27% mean / -33% best vs 4-bit on real Qwen weights, beats zstd, lossless) + drop-in PyTorch KV-cache compression (int8 ~2x near-lossless, outlier-aware int4 at cos-sim 0.999). ROCm/CUDA/MPS/CPU.

スター

★ 1

フォーク

0

言語

Python

ライセンス

—

最新リリース

—