Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b11804 — 新增 OpenCL 整数索引提取运算

ggml-org/llama.cpp b11804 在 OpenCL 运算中新增了从 32 位浮点数组提取整数索引的功能,并将初始值设为 0。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132K
复刻
24.7K
语言
C++
许可证
MIT
最新版本
2026年10月22日
查看原始来源 ↗在 GitHub 查看 ↗

在 ggml-org/llama.cpp 的 release b11804 中,新增了在 OpenCL 运算里从 32 位浮点数组提取整数索引的功能。该仓库是一个基于 C/C++ 的 LLM 推理项目。本次变更属于把该运算加到 OpenCL 侧的发布内容,来源是 ggml-org/llama.cpp 的 b11804 release。发布资料中列出的变更就是这个功能和初始值设置。

本次变更把初始值设为 0 的原因,是为了得到与 CPU 相同的结果。因此新增之处可概括为:从浮点数组获取整数索引的 OpenCL 运算,以及为使其结果与 CPU 一致而进行的初始值处理。这里能确认的是运算的新增和初始值设置,并未说明新增了特定的模型或面向用户的功能。就描述而言,该仓库所涉范围是基于 C/C++ 的 LLM 推理。

资料没有给出使用该运算的模型或功能、适用范围以及性能变化等信息。所提供的发布摘要中也未列出其他变更,因此没有依据将其解读为更大范围的功能新增。所以仅凭这次发布无法判断在实际推理中的影响或速度差异。可确认的变化仅限于新增 OpenCL 运算,以及为对齐 CPU 结果所做的初始值设置。影响范围需要有后续信息才能判断。

同领域的其他项目

通用本地引擎 →