Devotd Github
新着AIエージェント

1105216375-alt/resimind — 外部定理ベンチマークの境界を実験段階に引き下げる

resimind の最新コミットは MiniF2F・LeanDojo の外部定理ベンチマーク境界を「実験」段階に引き下げ、まだ存在しないスコアと否定的な ChinaTravel の結果を文書に明記して公開した。

リポジトリ情報1105216375-alt/resimind ↗

resimind の最新コミットは MiniF2F・LeanDojo の外部定理ベンチマーク境界を「実験」段階に引き下げ、まだ存在しないスコアと否定的な ChinaTravel の結果を文書に明記して公開した。

GitHub の説明: Neuro-symbolic agents with verified memory. MCP math tools, an algebra repair Skill, and an open challenge. Verify solutions, learn checked rules, and reuse.

スター
★ 294
フォーク
1
言語
Python
ライセンス
MIT
最新リリース
v0.16.0
原文を見る ↗GitHub で見る ↗

1105216375-alt/resimind は、モデルが提案した段階とは別個のドメイン検査をもう一度通り、 통과したものだけを事実として残すニューロシナボル(neuro-symbolic)エージェントアーキテクチャを公開しているリポジトリである。2026年10月15日のコミット 4055d9c は「Prepare reliability update and clarify evaluation evidence」というメッセージとともに、評価上の主張が裏付けられる範囲を狭める方向へ文書を修正した。README と README.zh-CN には v0.16.0 以降の進展が「main」基準で新しく追加された。

修正内容は大きく二つに分かれる。ひとつは記憶(memory)の出所・期限・移行監査(audit)文書を前面に据え、ChinaTravel 統合における検証失敗箇所を再度修正する残差駆動修正(residual-driven revision)段階を予約する点である。もうひとつは MiniF2F・LeanDojo 用の外部定理アダプタ(benchmarks.external_theorem_adapter)を「固定(pinned)」境界から「実験的(experimental)」境界へ引き下げることである。このアダプタは呼び出し側が用意した .lean テンプレート内で唯一の RESIMIND_PROOF_HOLE マーカーを見つけ、候補証明をインストール済みの Lean ツールチェーンでコンパイルし、sorryAx は拒否する。実験プロトコル文書も「修正済みプロトコル」に変わり、過去のコホートは固定設定を維持すると明かし、ネイティブ ReAct ループを60ステップから50ステップへ引き下げた。

ただし、コミット自身が公開した限界は大きい。アダプタはデータをダウンロードせず、ハッシュは source_sha256 が与えられたときだけ確認し、dataset_commit と mathlib_commit は実際のチェックアウトの Git リビジョンと照合されていない呼び出し側の宣言である。最新の公式12問の結果は ResiMind-ReAct 0/12、公式 ReAct 0/12、公式 NeSy 3/12 であり、外部問題解決での優位性はまだ見られない。別の記録にある 5/12 と 1/12 は先行する実験分であり、この結果と合算できない。開発再実行も両サンプルとも公式合格に至らず、初期探索が予約された段階境界に届かなかったため、40/20 予算配分の因果的な利得は立証できなかった。MiniF2F・LeanDojo の成績はいずれも not_run/blocked であり、154問全体の実行には固定データと公式 sandbox、macOS sandbox-exec、DEEPSEEK_API_KEY がさらに必要である。つまり今回の変更は成績を生み出したのではなく、成績がまだ存在しないという事実と失敗 유형を文書として固定する方に近い。