kindlingai/exlr8은 DGX Spark용으로 튜닝한 저비트 모델 양자화 포맷이다. 저장소 설명에 따르면 통합 메모리 하드웨어에서 모델을 서빙할 때 토큰당 읽는 expert 가중치 바이트를 줄이는 데 초점을 둔다. 공개된 최신 릴리스는 없다.
MoE는 입력에 따라 일부 expert만 활성화해 처리하는 구조다. EXLR8은 압축률보다 활성 expert의 가중치를 읽는 비용을 설계 기준으로 삼았다. EXL3/QTIP 계열 트렐리스 코드를 바탕으로 Viterbi 탐색 중 코드북 값을 FP8 E4M3로 반올림해 복원 가중치를 FP8 값으로 맞춘다. 또 expert별로 K2/K3/K4 인코딩 폭을 저장하고, 로드할 때 매니페스트로 폭을 선택한다. expert마다 별도로 회전시키는 대신 층 단위 회전 하나를 사용해 활성 expert 8개가 토큰 활성값 회전을 공유한다. README에는 형식 명세, 순수 PyTorch 참조 로더, Python 파일셋 writer가 소개되어 있다.
저장소가 제시한 2.3~33배 우위는 자체 벤치마크 표에 근거한 주장이다. 테스트가 없고 루트에 라이선스 표기도 없어, 품질과 사용 조건을 확인할 근거는 제한적이다. 따라서 설계는 참고할 수 있지만, 제시된 성능을 일반적인 우위로 받아들이기에는 검증 근거가 부족하다.