github.devotd.
发布评测

artificialanalysis/aa-agentperf-local v0.3.4 —— 扩展本地 LLM 测量配方

ArtificialAnalysis 的 aa-agentperf-local v0.3.4 为 NVIDIA DGX、RTX Spark 和新模型添加了本地 LLM 测量配方。

仓库信息artificialanalysis/aa-agentperf-local ↗

Benchmark local LLM serving by replaying real agent trajectories

星标
★ 101
复刻
1
语言
Python
许可证
Apache-2.0
最新版本
v0.3.4
查看原始来源 ↗在 GitHub 查看 ↗

ArtificialAnalysis/aa-agentperf-local v0.3.4 于 2026 年 10 月 15 日发布。该仓库通过重放真实的智能体任务轨迹来测量本地 LLM 的服务性能。本次发布新增了面向 NVIDIA DGX 和 RTX Spark 的配方,并将 Spark 的 NPU 从检测到的加速器列表中排除。Windows 上的共享 GPU 内存现在也会被计入计量。

模型配方新增了用于 llama.cpp 的 LFM2.5 24B A2B,以及用于 DGX Spark 的 Qwen3.8 27B Q4。同时还包含固定为 Splash 1.2.1 的配方。另有一项更改:当 llama.cpp 的 draft 模型仅以 safetensors 格式提供时,会在部署时进行转换。这是在重放真实智能体任务轨迹的测量方式之上,补充了按硬件和模型区分的执行条件。

本次变更中可确认的新配方对应 DGX、RTX Spark 以及其中明确列出的模型组合。已给出的发布信息并未说明同样的配方是否适用于其他硬件或模型。因此,与其说这次更新证明了本地 LLM 测量整体性能的提升,更准确的说法是:它扩大了特定环境下可用的执行配方以及内存计量范围。