ggml-org/llama.cpp 构建 b12144 已发布。该仓库是用 C/C++ 实现大语言模型推理的项目。本次版本把 CUDA 路径的混合专家权重数据布局改为按单行铺开排列，目的是让整数运算和矩阵乘法两侧都能更好地应用 tile 尺寸优化。同时还包含了对 16 位浮点性能退化的修复。相关改动记录在 b12144 的发布记录中。
混合专家指的是一种模型结构，它根据输入使用多个专家组件中的一部分。本次记录讨论的正是该结构的权重数据布局。把数据按单行铺开的改动，重点在于让 tile 尺寸优化在整数运算和矩阵乘法两侧都得到更好的应用。因此，本次发布的核心不是新增模型功能，而是 CUDA 路径的数据处理变更以及对 16 位浮点性能退化的修复。仓库说明为基于 C/C++ 的大语言模型推理，详细的改动内容可在 https://github.com/ggml-org/llama.cpp/releases/tag/b12144 确认。
提供的发布信息中没有变更前后的性能数值。仅凭这些信息无法判断 tile 尺寸优化对实际处理速度的影响，也无法判断 16 位浮点性能退化改善到了什么程度。可以确认的范围仅限于 CUDA 路径的混合专家权重布局变更，以及 16 位浮点性能退化的修复。很难把它解读为性能提升幅度已经得到确认的发布。