ArtificialAnalysis/aa-agentperf-local v0.3.4 が 2026 年 10 月 15 日に公開されました。このリポジトリは実際のエージェントタスク軌跡を再実行して、ローカル LLM のサービング性能を測定します。今回のリリースでは NVIDIA DGX と RTX Spark 用のレシピが追加され、Spark の NPU は検出されたアクセラレータのリストから除外されました。Windows の共有 GPU メモリも計測対象になりました。
モデルレシピには llama.cpp 用の LFM2.5 24B A2B と、DGX Spark 用の Qwen3.8 27B Q4 が追加されました。Splash 1.2.1 に固定したレシピも含まれています。llama.cpp の draft モデルが safetensors 形式でのみ提供される場合に、デプロイ時に変換するようにする変更もあります。実際のエージェントタスク軌跡を再実行する測定方式に、ハードウェアとモデルごとの実行条件を加えた更新です。
今回の変更で確認できる新しいレシピは、DGX・RTX Spark と明記されたモデルの組み合わせに対応しています。同じレシピが他のハードウェアやモデルにも適用されるかは、提示されたリリース情報には記載されていません。したがって、この更新はローカル LLM 計測全般の性能向上を示すものより、特定の環境で利用できる実行レシピとメモリ計測対象の範囲を広げた変更と捉えるのが適切です。