waldiez/slm-callsite-eval は、NeurIPS 2026 SLM-Agents ワークショップ論文「Not Every Call Needs a Frontier Model」のベンチマークと評価ハーネス、スコア記録を収録したリポジトリである。2026年10月14日のコミット 4bc44f2 はソースコードではなく README.md の1ファイルのみを変更した。追加18行、削除1行で、内容はリンクとサンプルのみである。arXiv（2610.09021）、Hugging Face 論文ページ、Hugging Face データセットのURLとバッジが付けられ、`load_dataset` で一部のデータを開く Python コード片が挿入された。コミットのURLは https://github.com/waldiez/slm-callsite-eval/commit/4bc44f2e42e493ac88085bb13e2f36d24d7abf26 である。
このリポジトリが計測する対象は、オープンソースのホームオートメーション用マルチエージェントフレームワーク Wactorz である。エージェントがモデルを呼び出す地点（call site）を5つ定め、ローカルモデルとホスティングモデルをまとめて9つを、地点ごとに採点する。README では5地点全体で280件のベンチマークケースがあり、今回Hubにアップロードされたデータセットは地点ごとに部分データセットを分け、採点済みのモデル出力とエンドツーエンド評価結果まで含んでいる。リポジトリをダウンロードしなくても、`datasets` ライブラリでテストケースとモデル出力を読み取ることができる。
ただし、このコミットは文書のみを変更している。ハーネスとケース、採点方法はそのままで、新しく評価したモデルも新しいスコアもない。README は実行精度と正しい拒否（correct refusal）を調和平均した「Joint」指標を置き、実行可能な要求に対して空のアクションリストで応答した割合を「Silent」として別途計測する。処理不可能な要求（impossible request）39件もその対象に含まれる。どのモデルでどの値が出たかはコミットにもリポジトリの説明にも書かれていないため、数値を比較するには arXiv の原文と Hugging Face データセットを直接確認する必要がある。どのモデルが優位かは、現在のこのリポジトリだけでは判断が早い。