kindlingai/exlr8 は DGX Spark 向けに調整された低ビットモデル量子化フォーマットです。リポジトリの説明によると、統合メモリのハードウェアでモデルをサービングする際に、トークンごとに読み込む expert 重みのバイト数を削減することに重点を置いています。公開された最新リリースはありません。
MoE は入力に応じて一部の expert のみを活性化して処理する構造です。EXLR8 は圧縮率ではなく、活性化する expert の重みを読み込むコストを設計基準としました。EXL3/QTIP 系のトレllis コードを基盤に、Viterbi 探索中にコードブック値を FP8 E4M3 に丸め、復元される重みが FP8 の値と一致するようにしています。また expert ごとに K2/K3/K4 のエンコード幅を保存し、ロード時にマニフェストで幅を選択します。expert ごとに個別に回転させるのではなく層単位の回転を 1 つ使い、活性化する 8 つの expert がトークンの活性化回転を共有します。README にはフォーマット仕様、純粋な PyTorch 参照ローダー、Python ファイルセットライターが紹介されています。
リポジトリが示す 2.3~33 倍の優位性は、自前のベンチマーク表に基づく主張です。テストが存在せず、ルートにもライセンス表記がないため、品質や利用条件を確認できる根拠は限られています。したがって設計は参考にできますが、提示された性能を一般的な優位性として受け入れるには検証の根拠が不足しています。