github.devotd.
릴리스평가

artificialanalysis/aa-agentperf-local v0.3.4 — 로컬 LLM 측정 레시피 확장

ArtificialAnalysis의 aa-agentperf-local v0.3.4는 NVIDIA DGX·RTX Spark와 새 모델을 위한 로컬 LLM 측정 레시피를 추가했다.

저장소 정보artificialanalysis/aa-agentperf-local ↗

Benchmark local LLM serving by replaying real agent trajectories

스타
★ 101
포크
1
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.3.4
원문 보기 ↗GitHub에서 보기 ↗

ArtificialAnalysis/aa-agentperf-local v0.3.4가 2026년 10월 15일 공개됐다. 이 저장소는 실제 에이전트 작업 궤적을 재생해 로컬 LLM 서빙 성능을 측정한다. 이번 릴리스는 NVIDIA DGX와 RTX Spark용 레시피를 추가하고, Spark의 NPU를 탐지된 가속기 목록에서 제외했다. Windows의 공유 GPU 메모리도 계량하도록 바뀌었다.

모델 레시피에는 llama.cpp용 LFM2.5 24B A2B와 DGX Spark용 Qwen3.8 27B Q4가 추가됐다. Splash 1.2.1을 고정한 레시피도 포함됐다. llama.cpp draft 모델이 safetensors 형식으로만 제공될 때 배포 시점에 변환하도록 한 변경도 있다. 실제 에이전트 작업 궤적을 재생하는 측정 방식에 하드웨어와 모델별 실행 조건을 더한 업데이트다.

이번 변경에서 확인되는 새 레시피는 DGX·RTX Spark와 명시된 모델 조합에 해당한다. 다른 하드웨어나 모델에 같은 레시피가 적용되는지는 주어진 릴리스 정보에 나와 있지 않다. 따라서 이 업데이트는 로컬 LLM 측정 전반의 성능 향상을 입증하기보다, 특정 환경에서 사용할 수 있는 실행 레시피와 메모리 계량 범위를 넓힌 변경으로 보는 편이 정확하다.