Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b12000 — 新增 OCP FP8 E4M3 量化支持

ggml-org/llama.cpp b12000 是一次新增 OCP FP8 E4M3 量化支持、并修正 FP8 转换与 Python 类型检查的发布。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.8K
复刻
24.9K
语言
C++
许可证
MIT
最新版本
2026年10月30日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp b12000 是 2026 年 10 月 30 日公开的 release。仓库介绍把该项目定位为基于 C/C++ 的 LLM 推理项目。b12000 新增了 OCP FP8 E4M3 量化支持。release 说明称,它修正了 Python 类型检查,让 FP8 转换反映输入 scale,并纠正了结果被错误转换为 NVFP4 的问题。变更内容的来源是该仓库的 b12000 release 说明。

本次 release 把新的量化支持与转换相关的修正放在了一起。具体来说,新增 OCP FP8 E4M3 作为支持对象,修改 FP8 转换过程使其反映输入 scale,并修正了转换结果错误地成为 NVFP4 的问题。Python 类型检查的修正也包含在内。因此可以确认的变化是新增受支持的格式,以及转换和检查行为的修正,而各处变更具体适用的路径并未在 release 说明中给出。

所提供的 release 信息中没有受支持的硬件或后端,也没有性能与准确度的对比结果。反映输入 scale 对实际结果的影响也没有以数值形式给出。Python 类型检查修正的适用位置,以及 NVFP4 转换问题出现的条件,同样没有说明。因此,b12000 中可以确认的只是变更条目本身,新支持路径的适用范围和性能仅凭这些信息难以判断。

同领域的其他项目

通用本地引擎 →