Devotd Github
새 소식AI 에이전트

1105216375-alt/resimind — 외부 정리 벤치마크 경계를 실험 단계로 낮춤

resimind의 최신 커밋은 MiniF2F·LeanDojo 외부 정리 벤치마크 경계를 '실험' 단계로 낮추고, 아직 없는 점수와 부정적 ChinaTravel 결과를 문서에 명시해 공개한다.

저장소 정보1105216375-alt/resimind ↗

resimind의 최신 커밋은 MiniF2F·LeanDojo 외부 정리 벤치마크 경계를 '실험' 단계로 낮추고, 아직 없는 점수와 부정적 ChinaTravel 결과를 문서에 명시해 공개한다.

GitHub 설명: Neuro-symbolic agents with verified memory. MCP math tools, an algebra repair Skill, and an open challenge. Verify solutions, learn checked rules, and reuse.

스타
★ 294
포크
1
언어
Python
라이선스
MIT
최신 릴리스
v0.16.0
원문 보기 ↗GitHub에서 보기 ↗

1105216375-alt/resimind는 모델이 제안한 단계와 별개로 도메인 검사를 다시 거치고 통과한 것만 사실로 남기는 신경-기호(neuro-symbolic) 에이전트 아키텍처를 공개한 저장소다. 2026년 10월 15일 커밋 4055d9c은 'Prepare reliability update and clarify evaluation evidence'라는 메시지와 함께, 평가 주장이 뒷받침할 수 있는 범위를 좁히는 방향으로 문서를 고쳤다. README와 README.zh-CN에는 v0.16.0 이후 진행 상황이 'main' 기준으로 새로 들어갔다.

수정된 내용은 크게 두 갈래다. 하나는 기억(memory)의 출처·만료·이전 감사(audit) 문서를 전면에 내고, ChinaTravel 통합에서 검증 실패 지점을 다시 고치는 잔여 수정(residual-driven revision) 단계를 예약한다는 점이다. 다른 하나는 MiniF2F·LeanDojo용 외부 정리 어댑터(benchmarks.external_theorem_adapter)를 '고정(pinned)' 경계에서 '실험적(experimental)' 경계로 낮춘 것이다. 이 어댑터는 호출자가 준비한 .lean 템플릿에서 유일한 RESIMIND_PROOF_HOLE 표식을 찾아 후보 증명을 설치된 Lean 툴체인으로 컴파일하고, sorryAx는 거부한다. 실험 프로토콜 문서도 '수정된 프로토콜'로 바뀌어 과거 코호트는 고정 설정을 유지한다고 밝히고, 네이티브 ReAct 루프를 60단계에서 50단계로 낮췄다.

다만 커밋이 스스로 밝힌 한계가 크다. 어댑터는 데이터를 내려받지 않고, 해시는 source_sha256이 주어질 때만 확인하며, dataset_commit과 mathlib_commit은 실제 체크아웃의 Git 리비전과 대조되지 않은 호출자 선언이다. 최신 공식 12문항 결과는 ResiMind-ReAct 0/12, 공식 ReAct 0/12, 공식 NeSy 3/12로 외부 문제 해결 우위는 아직 보이지 않는다. 다른 기록의 5/12와 1/12은 앞선 실험분이라 이 결과와 합칠 수 없다. 개발 재실행도 두 샘플 모두 공식 통과에 이르지 못했고, 초기 검색이 예약된 단계 경계에 닿지 않아 40/20 예산 배분의 인과적 이득은 입증하지 못했다. MiniF2F·LeanDojo 성적은 여전히 not_run/blocked이며, 154문항 전체 실행에는 고정 데이터와 공식 sandbox, macOS sandbox-exec, DEEPSEEK_API_KEY가 더 필요하다. 즉 이번 변경은 성적을 만들어 낸 것이 아니라, 아직 성적이 없다는 사실과 실패 유형을 문서로 고정하는 쪽에 가깝다.