Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b11854 — Vulkan 精度补全与 FP32 溢出应对

ggml-org/llama.cpp b11854 是一次发布,补全了 Vulkan 后端的 ggml src1 精度处理,并包含 FP32 溢出应对与矩阵乘法检查。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.2K
复刻
24.8K
语言
C++
许可证
MIT
最新版本
2026年10月25日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 是一个基于 C/C++ 的 LLM 推理仓库,b11854 版本于 2026 年 10 月 24 日公开。本次版本在 Vulkan 后端中补全了 ggml src1 的精度处理,并添加了 FP32 溢出应对和矩阵乘法检查。相关测试也做了调整。变更来源是 GitHub 上的 b11854 发布记录。

本次变更提出的工作是 Vulkan 后端精度处理的补全、FP32 溢出应对、矩阵乘法检查的添加,以及相关测试的修改。因此,本次发布的重点不在于重新说明推理功能本身,而在于该后端的计算处理与检查。仓库说明为基于 C/C++ 的 LLM 推理,而本次发布摘要在该范围内明确指出了具体处理的项目。不过,仅凭该摘要无法确认各项的具体实现方式或适用条件。

所提供的 b11854 发布摘要中没有性能数值或基准测试结果。因此,仅凭这些信息难以判断本次精度处理补全与溢出应对对实际推理速度或结果会带来怎样的差异。可以确认的变化仅限于 Vulkan 后端中明示的处理与检查,以及相关测试的修改。本次记录说明了变更项目,但并未展示其效果的程度。

同领域的其他项目

通用本地引擎 →