Devotd Github
新着推論・サービング

nathanw1014/strix-halo-llamacpp v0.8.0 — Strix Halo 向け llama.cpp ビルド

AMD Strix Halo 向けの llama.cpp にフラッシュアテンションと MoE のプリフィルの修正を適用し、現在の Mesa ドライバも同梱するリポジトリ。

リポジトリ情報nathanw1014/strix-halo-llamacpp ↗

AMD Strix Halo 向けの llama.cpp にフラッシュアテンションと MoE のプリフィルの修正を適用し、現在の Mesa ドライバも同梱するリポジトリ。

GitHub の説明: Performance-tuned llama.cpp for AMD Strix Halo (gfx1151): FA + MoE-prefill fixes with a bundled current Mesa driver. Vulkan and HIP; portable dir, Docker, and distrobox.

スター
★ 221
フォーク
20
言語
Python
ライセンス
NOASSERTION
最新リリース
v0.8.0
原文を見る ↗GitHub で見る ↗

nathanw1014/strix-halo-llamacpp は、AMD Strix Halo(gfx1151)に合わせてパフォーマンスを調整した llama.cpp ビルドである。リポジトリの最新リリースは v0.8.0 である。リポジトリの説明と README によると、フラッシュアテンション(FA)と混合エキスパートモデル(MoE)のプリフィル経路を修正し、現在の Mesa ドライバも一緒に同梱する。Vulkan と HIP の経路を扱っており、ポータブルディレクトリ形式と Docker、distrobox の用意もある。

このリポジトリの目的は、Strix Halo で llama.cpp を動かすために必要なビルドと修正を一か所にまとめることである。README は、同じ機器と同じセッションで上流基準のビルドと自作ビルドを比較した測定値と、生の結果へのパスを説明している。深い文脈でのプリフィルと量子化キャッシュの挙動も分けて扱う。したがって、提示された資料から、特定の構成でどの比較が行われたかを確認できる。

ただし README の性能数値は特定のビルドと設定で再現したものであり、一般的な性能の保証ではない。他の GPU や他の構成でも同じ結果が出るとする根拠は示されていない。ライセンス表記は NOASSERTION である。このリポジトリは Strix Halo を対象とした具体的なビルドの選択肢だが、その性能を一般化する根拠まで示しているわけではない。