ggml-org/llama.cpp ビルド b11970 は、C/C++ ベースの LLM 推論プロジェクトの新ビルドである。今回のリリースではヘキサゴン バックエンドに畳み込み演算を追加した。リリース概要によると、ダブルバッファとデータ転送経路も改善された。半精度保存で発生するオーバーフローを防ぎ、深度畳み込みをサポートする変更も含まれている。この内容の出典は ggml-org/llama.cpp の b11970 リリース記録である。したがって今回のアップデートの要点は、ヘキサゴン バックエンドの演算サポートと、関連するバッファ・転送・保存の変更である。
変更点は、演算の追加と既存経路の改善に分かれる。畳み込み演算はヘキサゴン バックエンドに追加され、深度畳み込みのサポートもリリース概要に明記されている。個別には、ダブルバッファとデータ転送経路の改善、半精度保存のオーバーフロー防止が記録されている。つまり概要で確認できるのは、どの項目が b11970 に反映されたかという点までである。各項目がどのモデルや使用条件を対象とするか、変更前後の挙動がどう異なるかは、提示された情報には説明されていない。
リリース概要には、性能の数値や比較結果、対象となるモデルは示されていない。したがって、畳み込みサポートやバッファ・転送経路の改善が推論速度やメモリ使用量にどう影響するかは、この情報のみでは判断できない。半精度保存のオーバーフロー防止や深度畳み込みのサポートについても、詳細な条件は示されていない。確認できる範囲は、これらの変更が b11970 に含まれているという点までである。具体的な効果と適用範囲は、追加の資料がなければ判断できない。