Devotd Github
新着コーディングエージェント

yohannesjoya/toolreceipt — エージェントの行動主張を検証するツール

toolreceipt は、エージェントの行動主張を実際のツール呼び出し記録と照合する Python ライブラリである。

リポジトリ情報yohannesjoya/toolreceipt ↗

toolreceipt は、エージェントの行動主張を実際のツール呼び出し記録と照合する Python ライブラリである。

GitHub の説明: Catch LLM agents claiming actions they never took. Ledger + claim extraction + receipt for LangGraph.

スター
★ 10
フォーク
0
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

yohannesjoya/toolreceipt は、LLM エージェントが実際には行っていないことを完了したと主張する箇所を見つける Python ライブラリである。最終回答から行動主張を抽出し、実行中に記録されたツール呼び出しと照合して、呼び出されなかった、または失敗したツールについての完了主張をレシートの形で返す。リポジトリ説明は、LangGraph 向けの記録台帳、主張抽出、レシートを中核として挙げている。FACTS には公開リリース版は示されていない。

中核となる判定は標準ライブラリのみを使うルールベースの手法である。したがって判定のために追加のモデル呼び出しや API キーは不要である。LangGraph 連携だけでなく、単独で使用できる検査関数も提供する。ツール呼び出し記録と最終回答を照合する構造であるため、何をしたとエージェントが主張したかが実際の記録と一致するかを確認する点に焦点を置いている。リポジトリの言語は Python、ライセンスは MIT である。

ただし README は、主張とツール引数の不一致、数量、非英語での回答、ストリーミング検査には対応していないと明言している。したがってこのツールが確認できる範囲は、記録された呼び出しと回答中の行動主張との基本的な対応に限られる。範囲外の主張まで検証する手段とみなすことは難しく、対応していない条件では結果を信頼する前に別途確認が必要である。