kmswin1/moezip은 NeurIPS 2026에 승인된 MoEZip의 공식 구현 저장소다. MoEZip은 희소 혼합 전문가(MoE) 언어 모델에서 키-밸류 캐시(KV cache)를 압축하는 방법이다. 2026년 10월 14일 최신 커밋은 README.md 한 파일만 손댄다. 제목 한 줄뿐이던 문서를 프로젝트 설명과 설치 안내, 인용 형식을 담은 README로 새로 채웠다.
README는 이 방법이 겨냥하는 문제를 분명히 한다. 기존 KV 캐시 압축은 쓸모없어 보이는 항목을 쫓아내는데, MoE 모델에서는 그 과정에서 전문가로 향하는 경로(routing) 결정이 바뀌어 생성 품질이 떨어질 수 있다는 것이다. MoEZip은 항목 하나를 지웠을 때 경로 결정이 얼마나 흔들리는지를 나타내는 피셔 정보(Fisher information)를 어텐션 기반 중요도 점수와 합쳐, 무엇을 쫓아낼지 정한다. README는 KV 캐시를 10%만 남길 때 최고 성능 기준선(state-of-the-art baseline)을 LongBench에서 24점(2.3배), RULER에서 20점(4.9배) 앞선다고 적는다. 구현은 NVIDIA의 KVPress 위에 얹혀 있어 kvpress 설치와 run_example.sh 실행으로 시작한다.
다만 이번 커밋이 바꾼 것은 README 55줄 추가와 1줄 삭제뿐이어서 코드가 달라진 것은 아니다. 위 수치는 모두 README가 스스로 밝힌 값이고, 비교 대상이 어떤 방법인지는 README에 이름이 없다. 라이선스 표기와 필요한 하드웨어 사양도 이번 커밋에 제시되지 않았다. 즉 방법 제안은 문서로 읽을 만하지만, 수치만으로 성능을 단정하기는 이르다.