Devotd Github
新发现推理与服务

tsaipifong/whirl-llm 0.2.5.1 — Radeon 8060S 加速更新的公开文档

面向 Windows AMD GPU 的原生推理引擎 WHIRL 的 0.2.5.1 公开文档已发布,文档所记录的内容是 Radeon 8060S 的内核优化数值以及安装路径长度限制的更正。

仓库信息tsaipifong/whirl-llm ↗

面向 Windows AMD GPU 的原生推理引擎 WHIRL 的 0.2.5.1 公开文档已发布,文档所记录的内容是 Radeon 8060S 的内核优化数值以及安装路径长度限制的更正。

GitHub 项目说明: WHIRL (Windows HIP Inference for RDNA LLMs): native Windows C++/HIP LLM inference engine for the AMD Radeon AI PRO R9700

星标
★ 22
复刻
2
语言
C++
许可证
Apache-2.0
最新版本
v0.1.4
查看原始来源 ↗在 GitHub 查看 ↗

将 0.2.5.1 公开文档反映到 tsaipifong/whirl-llm 的提交 fc42f1f 于 2026-11-05(UTC)进入仓库。WHIRL 是在 AMD GPU 上运行的 Windows 原生 C++/HIP 基 LLM 推理引擎。提交信息说明本次仅涉及文档,不包含源码·工具·构建的变更。README、繁体中文 README、CHANGELOG 以及快速开始·使用方法·服务器文档被修改,并新增了 10 张基准测试图表图片。CHANGELOG 中的条目将 0.2.5.1 定义为日期为 2026-11-06 的 Radeon 8060S(AMD Ryzen AI Max+ 395)加速更新。

从文档中记载的数值来看,8060S 新增了五条新的内核路径,prefill 在三种模式和两个模型上均提升 +2%~+10%,Swift-1.5 27B decode 在 balance 模式提升 +5.8%~+12.1%,在 fast 模式提升 +3.7%~+8.1%。输出在 8060S 的所有模式下与 0.2.5 逐比特相同。README 说明,与官方 llama.cpp b11960(v0.8.0,2026-10-28)的 ROCm·Vulkan 构建相比,8060S 在 balance 模式下的所有测量单元格均领先。Swift-1.5 27B 相对 ROCm 提升 +28%~+59%,相对 Vulkan 提升 +30%~+106%;Ornith-1.5-35B-A3B 则分别为 +51%~+65%、+46%~+127%。文档写明测量在最大功率 80W、ASUS ROG Flow Z13、64GB UMA 帧缓冲的条件下,每个单元格取 3 次中的最佳值进行。

CHANGELOG 整理的 0.2.5.1 的修正内容也随之显现。若安装文件夹路径超过 150 字节(以 UTF-8 为准),将在 GPU 运行时加载之前拒绝启动;SSD 缓存文件夹超过 217 个字符则会被拒绝。0.2.5 条目中曾写明允许较长的安装路径和 260 字符的缓存文件夹,这一部分以 0.2.5.1 为准得到更正,而 0.2.5 条目本身仍按原文保留。调优缓存文件名已缩短为 tune5- 前缀,whirl-server 也改为在终止时清除 pinned-memory 记录。

证据的边界同样清楚。R9700 的 GPU 代码与 0.2.5 相同,仅内部构建 ID 不同,因此 README 中的 R9700 数值并非新测得的值,而是 0.2.5 的数值。Ornith 的 decode 单元格在版本之间波动 -6.3%~+6.4%,这被归因于每次运行时获批的 MTP draft 数量不同(说明中提到在 64k balance 下从 0.71 减少到 0.60),并与每步快 0.5% 的现象同时出现。Swift 的 precise decode 未使用新路径,几乎保持不变。对 8060S 用户而言,这可以看作是在明示测量条件下的性能改进;但对 R9700 用户而言,0.2.5.1 并未带来实质性的性能变化。