ggml-org/llama.cpp の release b12180 は Kimi-K3.1-Pro テキストモデルを追加した。このリポジトリは C と C++ で書かれた LLM 推論プロジェクトである。今回の変更の要点は、そのテキストモデルを扱うために必要なアテンション構成に関するサポートを追加した点にある。変更内容は GitHub の b12180 リリース情報に記載されている。
リリース説明によると、全体のアテンション層は DSA に置き換えられた。93 層のうち 24 層にはライトニングインデクサが重ねられ、残りの線形アテンション層と混合エキスパート構造は維持された。つまり全層を同じ方式で変更したのではなく、一部の層にライトニングインデクサを適用し、他の構成はそのまま残す変更である。検証では、8 層シャード単位で 38 個のテンソルを厳密に比較したと説明されている。DSA の正式名称や比較対象は、提供された情報には現れない。
このリリース情報が確認できる範囲は、モデルの追加、層構成の変更、そしてテンソル比較の検証までである。38 個のテンソルを厳密に比較したとの説明はあるが、何を基準に比較したのか、93 層全体をどのように検証したのかは示されていない。性能や実行速度、メモリ使用量に関する数値もない。したがってこの記録のみから推論効率が向上したと判断することはできず、確認できる変更は Kimi-K3.1-Pro テキストモデルのサポートと説明された構成変更に限られる。