Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp b12065 — サーバーウォームアップ中のキャッシュ行数の修正

ggml-org/llama.cpp b12065 は、サーバーウォームアップ中にセルを持たない共有キー値キャッシュが行数として 0 を返していた問題を修正した。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 133.2K
フォーク
25.1K
言語
C++
ライセンス
MIT
最新リリース
2026年11月3日
原文を見る ↗GitHub で見る ↗

ggml-org/llama.cpp は C/C++ で実装された LLM 推論プロジェクトである。release b12065 は、サーバーウォームアップ中にセルを持たない共有キー値キャッシュが行数として 0 を返していた問題を修正した。この変更は ggml-org/llama.cpp の b12065 リリースに記録されている。今回の更新の中心は、サーバーウォームアップ経路で共有キャッシュの行数を誤って返していた動作を正す点にある。新機能やモデルの追加ではなく、リリース要約に明記されたキャッシュ行数の問題に対する修正である。

この問題の影響は、キャッシュが 0 行を返すだけでは終わらない。この返却値によって処理は高密度のアテンションマスクへフォールバックする可能性があり、スケジューラが計画をやり直した後には、より大きなマスクで中断される可能性があった。したがって修正の対象は、サーバーウォームアップ中の共有キー値キャッシュが返す行数と、その値を受け継ぐマスク選択およびスケジューリングの流れである。リリース要約はこの順序を併せて説明しており、0 行の返答がマスクの切替と再計画を経て中断に至ることを示している。

確認された範囲は、サーバーウォームアップ中にセルを持たない共有キー値キャッシュの行数処理の問題である。提供されたリリース情報には、再現手順、性能数値、影響を受ける構成の範囲が示されていない。したがってこの修正を当該ウォームアップ経路のエラーを正したものとして理解するのが適切であり、他の経路まで問題が解決されたとする拡大解釈の根拠はない。

同じ分野の他のプロジェクト

汎用ローカルエンジン →