waldiez/slm-callsite-eval 是 NeurIPS 2026 SLM-Agents 工作坊论文《Not Every Call Needs a Frontier Model》的基准仓库，包含基准测试、评测框架和得分记录。2026 年 10 月 14 日的提交 4bc44f2 只改动了 README.md 一个文件，并未涉及源代码。新增 18 行、删除 1 行，内容仅为链接和示例。提交中附上了 arXiv（2610.09021）、Hugging Face 论文页面、Hugging Face 数据集地址和徽章，并加入了一段用 `load_dataset` 打开部分数据的 Python 代码片段。提交地址为 https://github.com/waldiez/slm-callsite-eval/commit/4bc44f2e42e493ac88085bb13e2f36d24d7abf26。
该仓库评测的对象是开源家庭自动化多智能体框架 Wactorz。它确定了智能体调用模型的五个位置（call site），把本地模型与托管模型合并为 9 个，按位置分别打分。README 说明五个位置共有 280 个基准用例，这次上传到 Hub 的数据集按位置拆分为子数据集，并且还包含被打分的模型输出以及端到端评测结果。即使不下载该仓库，也可以用 `datasets` 库读取测试用例和模型输出。
不过这次提交只改了文档。评测框架、用例和评分方式均保持不变，也没有新评测的模型或新的分数。README 中有一个 'Joint' 指标，将执行准确率与正确拒答（correct refusal）做调和平均；另外单独统计 'Silent'，即对可执行请求以空动作列表作答的比例。39 个无法处理的要求（impossible request）也包含在该统计范围内。由于无论提交还是仓库说明都没有写明各个模型对应的数值，要比较这些数字必须直接查阅 arXiv 原文和 Hugging Face 数据集。仅凭目前这个仓库还难以判断哪个模型更占优。