github.devotd.
リリース

ggml-org/llama.cpp b11683 — Vulkan ホストメモリのインポート修正

llama.cpp nightly b11683 は、Vulkan バックエンドのホストメモリのインポート失敗ログと AMD のバッファ共有経路を修正したビルドである。

リポジトリ情報ggml-org/llama.cpp ↗

LLM inference in C/C++

スター
★ 131.5K
フォーク
24.5K
言語
C++
ライセンス
MIT
最新リリース
b11712
原文を見る ↗GitHub で見る ↗

ggml-org/llama.cpp b11683 は、C と C++ で大規模言語モデルの推論を行うプロジェクトの nightly ビルドである。今回の変更は Vulkan バックエンドの GPU から可視なホストメモリの扱いに 及ぶ。ホストポインタのインポートが失敗するたびに繰り返されていたログを止め、MoltenVK を共有メモリのインポート対象から除外した。到達不可能なコードは削除して assert に置き換え、警告の文言も短く整理した。今回の変更の焦点は、Vulkan 経路におけるインポート失敗の関連処理と警告の手直しにある。

今回のビルドでは、ホストメモリの共有がすべての経路で同じ形に維持されるわけではない。MoltenVK は共有メモリのインポート対象から外れ、AMD では amdgpu の性能問題を理由に、ホストメモリバッファの共有を完全に無効にした。したがって今回の変更は、共有をすべての経路で維持するための調整ではなく、対象からの除外や機能の無効化という措置も含んでいる。この違いを見ると、b11683 の中核は共有の範囲を広げることよりも、Vulkan バックエンドの特定経路を整理することにある。

リリースノートは、ホストポインタのインポート失敗時に繰り返されていたログを防ぐと述べているが、インポートがどのような場面で失敗するのか、また変更前後の性能の数値については示していない。AMD で共有を無効にした理由も amdgpu の性能問題という説明のみで、具体的な原因や影響範囲は示されていない。したがって、このビルドで確認できるのは、ログの処理、対象の除外、到達不可能なコードの assert への置き換え、AMD での共有の無効化という変更内容までである。性能改善の大きさや他の環境での効果までは、この記録だけでは判断できない。今回のリリースは、Vulkan メモリ共有の普遍的な改善というよりは、既知の問題経路を限定して整理した修正に近い。