在 ggml-org/llama.cpp 的 release b11804 中,新增了在 OpenCL 运算里从 32 位浮点数组提取整数索引的功能。该仓库是一个基于 C/C++ 的 LLM 推理项目。本次变更属于把该运算加到 OpenCL 侧的发布内容,来源是 ggml-org/llama.cpp 的 b11804 release。发布资料中列出的变更就是这个功能和初始值设置。
本次变更把初始值设为 0 的原因,是为了得到与 CPU 相同的结果。因此新增之处可概括为:从浮点数组获取整数索引的 OpenCL 运算,以及为使其结果与 CPU 一致而进行的初始值处理。这里能确认的是运算的新增和初始值设置,并未说明新增了特定的模型或面向用户的功能。就描述而言,该仓库所涉范围是基于 C/C++ 的 LLM 推理。
资料没有给出使用该运算的模型或功能、适用范围以及性能变化等信息。所提供的发布摘要中也未列出其他变更,因此没有依据将其解读为更大范围的功能新增。所以仅凭这次发布无法判断在实际推理中的影响或速度差异。可确认的变化仅限于新增 OpenCL 运算,以及为对齐 CPU 结果所做的初始值设置。影响范围需要有后续信息才能判断。