nathanw1014/strix-halo-llamacpp 是针对 AMD Strix Halo(gfx1151)调整性能的 llama.cpp 构建。该仓库的最新版本是 v0.8.0。根据仓库说明与 README,它修改了快速注意力(FA)与混合专家模型(MoE)的预填充路径,并同时提供当前的 Mesa 驱动。它覆盖 Vulkan 与 HIP 两条路径,也提供可移植的目录方式以及 Docker、distrobox 两种用法。
该仓库的目的是把在 Strix Halo 上运行 llama.cpp 所需的构建与修正集中到一处。README 说明了在相同硬件、相同会话中把上游基准构建与自有构建进行对比的测量值,以及原始结果的存放路径。它还把深上下文下的预填充与量化缓存行为分开讨论。因此,仅凭所给资料可以看出在特定配置下做了哪些对比。
不过,README 中的性能数值是在特定构建与设置下复现的结果,并不构成通用的性能保证。资料中没有给出在其他 GPU 或其他配置下能得到相同结果的依据。许可证标注为 NOASSERTION。这个仓库是面向 Strix Halo 的一个具体构建选项,但没有给出把该性能推广到其他环境的依据。