github.devotd.

モデルメモリ圧縮

読み込み済みのモデル重みまたは状態が占めるメモリを、最小限の品質損失で削減するランタイム手法。オフライン量子化形式の研究と推論ベンチマークスイートは含まない。

この分野のプロジェクト (2)
プロジェクト用途スター言語ライセンス最新リリース
surya-koritala/glydGPUメモリのBF16ウェイトとKVキャッシュを可逆圧縮し、実行時に元の値を正確に復元する。★ 255RustNOASSERTIONv0.32.1
srkrz23/vramkitLLM推論の重みとKVキャッシュを圧縮し、VRAM使用量を減らす実験を提供する。★ 3Python——