Devotd Github
新发现推理与服务

nathanw1014/strix-halo-llamacpp v0.8.0 — 面向 Strix Halo 的 llama.cpp 构建

一个为 AMD Strix Halo 的 llama.cpp 应用了快速注意力与 MoE 预填充修正,并附带当前 Mesa 驱动的仓库。

仓库信息nathanw1014/strix-halo-llamacpp ↗

一个为 AMD Strix Halo 的 llama.cpp 应用了快速注意力与 MoE 预填充修正,并附带当前 Mesa 驱动的仓库。

GitHub 项目说明: Performance-tuned llama.cpp for AMD Strix Halo (gfx1151): FA + MoE-prefill fixes with a bundled current Mesa driver. Vulkan and HIP; portable dir, Docker, and distrobox.

星标
★ 221
复刻
20
语言
Python
许可证
NOASSERTION
最新版本
v0.8.0
查看原始来源 ↗在 GitHub 查看 ↗

nathanw1014/strix-halo-llamacpp 是针对 AMD Strix Halo(gfx1151)调整性能的 llama.cpp 构建。该仓库的最新版本是 v0.8.0。根据仓库说明与 README,它修改了快速注意力(FA)与混合专家模型(MoE)的预填充路径,并同时提供当前的 Mesa 驱动。它覆盖 Vulkan 与 HIP 两条路径,也提供可移植的目录方式以及 Docker、distrobox 两种用法。

该仓库的目的是把在 Strix Halo 上运行 llama.cpp 所需的构建与修正集中到一处。README 说明了在相同硬件、相同会话中把上游基准构建与自有构建进行对比的测量值,以及原始结果的存放路径。它还把深上下文下的预填充与量化缓存行为分开讨论。因此,仅凭所给资料可以看出在特定配置下做了哪些对比。

不过,README 中的性能数值是在特定构建与设置下复现的结果,并不构成通用的性能保证。资料中没有给出在其他 GPU 或其他配置下能得到相同结果的依据。许可证标注为 NOASSERTION。这个仓库是面向 Strix Halo 的一个具体构建选项,但没有给出把该性能推广到其他环境的依据。