davidtai/turboexl3 — 面向 Apple GPU 的 EXL3 kernel 库

davidtai/turboexl3 是一个基于 Zig 的 Metal kernel 库，直接在 Apple GPU 上处理 EXL3 量化权重。MLX 负责运行这些 Metal kernel，目前没有公开单独的发布版本。据仓库说明，它会在 kernel 内部还原以 trellis code 压缩的权重。

这套设计把混合专家层(MoE)的路由专家交给拆分的矩阵-向量运算路径处理，注意力、门控 delta net、共享专家和输出层则走矩阵乘法路径。权重不先展开成单独的副本，而是直接接入计算。仓库中有与主机参考实现对比的测试：被替换的 kernel 以字节级一致为准，累加顺序不同的 kernel 则允许一定误差。仓库还包含一份性能与代码评估文档。该项目作为 mlx-serve 的外部量化插件运行，接到 Apple Silicon 的本地推理路径上。

不过目前没有公开的最新版本，许可证信息也显示为 NOASSERTION，无法确定。仅凭存在评估文档，无法判断实际性能或相对其他推理栈的优势。目前可确认的强项是 EXL3 权重处理路径和 kernel 验证设计，性能优势仍需要单独的依据。