kindlingai/exlr8 是为 DGX Spark 调优的低比特模型量化格式。根据仓库说明,它聚焦于在统一内存硬件上部署模型时,减少每个 token 读取的 expert 权重字节数。目前没有公开的最新版本发布。
MoE 是一种根据输入只激活部分 expert 来处理的结构。EXLR8 没有以压缩率作为设计基准,而是以读取活跃 expert 权重的成本作为设计依据。它基于 EXL3/QTIP 系列的 trellis 代码,在 Viterbi 搜索过程中把码本值舍入到 FP8 E4M3,使还原后的权重与 FP8 数值一致。它还按 expert 分别存储 K2/K3/K4 编码位宽,并在加载时通过清单文件选择位宽。它不为每个 expert 单独做旋转,而是使用一个层级旋转,使 8 个活跃 expert 共享 token 的激活旋转。README 中介绍了格式规范、纯 PyTorch 参考加载器以及 Python 文件集写入器。
仓库提出的 2.3~33 倍优势是基于其自有基准测试表的说法。仓库没有测试,根目录也没有许可证声明,因此可用于确认质量和使用条件的依据有限。因此该设计可以作为参考,但要把它给出的性能当作普遍优势接受,验证依据仍不充分。