waldiez/slm-callsite-eval은 NeurIPS 2026 SLM-Agents 워크숍 논문 'Not Every Call Needs a Frontier Model'의 벤치마크와 평가 하네스, 점수 기록을 담은 저장소다. 2026년 10월 14일 커밋 4bc44f2는 소스가 아니라 README.md 한 파일만 손댔다. 추가 18줄, 삭제 1줄이며 내용은 링크와 예시뿐이다. arXiv(2610.09021), Hugging Face 논문 페이지, Hugging Face 데이터셋 주소와 배지가 붙었고, `load_dataset`로 부분 데이터를 여는 파이썬 코드 조각이 들어갔다. 커밋 주소는 https://github.com/waldiez/slm-callsite-eval/commit/4bc44f2e42e493ac88085bb13e2f36d24d7abf26 이다.
이 저장소가 재는 대상은 오픈소스 홈 자동화 멀티에이전트 프레임워크 Wactorz다. 에이전트가 모델을 부르는 지점(call site) 다섯 곳을 정하고, 로컬과 호스팅 모델을 합쳐 9개를 지점별로 채점한다. README에는 다섯 지점에 걸쳐 280개 벤치마크 케이스가 있고, 이번에 Hub에 올라온 데이터셋은 지점별로 부분 데이터셋을 나누고 채점된 모델 출력과 종단 간 평가 결과까지 함께 담는다. 저장소를 내려받지 않아도 `datasets` 라이브러리로 시험 케이스와 모델 출력을 읽을 수 있다.
다만 이 커밋은 문서만 바꿨다. 하네스와 케이스, 채점 방식은 그대로이고 새로 평가한 모델이나 새 점수는 없다. README는 실행 정확도와 올바른 거절(correct refusal)을 조화평균한 'Joint' 지표를 두고, 실행 가능한 요청에 빈 행동 목록으로 답한 비율을 'Silent'로 따로 잰다. 처리 불가능한 요구(impossible request) 39건이 그 대상에 포함된다. 어떤 모델에서 무슨 값이 나왔는지는 커밋과 저장소 설명 어디에도 없으므로, 수치를 비교하려면 arXiv 원문과 Hugging Face 데이터셋을 직접 확인해야 한다. 어느 모델이 우위인지는 지금 이 저장소만으로는 판단하기 이르다.