ggml-org/llama.cpp ビルド b12144 がリリースされた。このリポジトリは C/C++ で大規模言語モデルの推論を実装するプロジェクトである。このバージョンでは CUDA パスの混合エキスパート重みデータ配置を一列に展開する変更が行われた。整数演算と行列積算の双方でタイルサイズの最適化をより適用しやすくするためである。16 ビット浮動小数点の性能低下の修正も含まれている。変更内容は b12144 のリリース記録に記載されている。
混合エキスパートとは、入力に応じて複数のエキスパート構成要素の一部だけを使うモデル構造を指す。今回の記録で扱われているのは、その構造の重みデータ配置である。データを一列に展開する変更は、整数演算と行列積算の双方でタイルサイズの最適化がよりよく適用されることに焦点を置いている。したがって今回のリリースの核心は、モデル機能の追加ではなく、CUDA パスのデータ処理の変更と 16 ビット浮動小数点の性能低下の修正である。リポジトリの説明は C/C++ ベースの大規模言語モデル推論であり、詳しい変更内容は https://github.com/ggml-org/llama.cpp/releases/tag/b12144 で確認できる。
提供されたリリース情報には、変更前後の性能数値が含まれていない。タイルサイズの最適化が実際の処理速度に与えた影響や、16 ビット浮動小数点の性能低下がどの程度改善したかは、この情報だけでは判断できない。確認できる範囲は、CUDA パスの混合エキスパート重み配置変更と、16 ビット浮動小数点の性能低下の修正までである。性能向上が確認されたリリースと解釈することは難しい。