github.devotd.
새 소식AI 에이전트

google-research/harness2 — 에이전트 하네스의 반복 개선 연구 코드

모델을 고정한 채 작업 결과를 바탕으로 도구와 지침, 기억 구성을 개선하는 google-research/harness2를 소개한다.

스타
★ 8.5K
포크
751
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

google-research/harness2는 모델을 고정한 채 에이전트가 작업 실행 도구와 지침, 기억 구성을 반복해서 개선하도록 하는 공개 연구 코드다. 여기서 하네스는 시스템 프롬프트와 도구, 기억, 스킬을 묶어 모델이 작업을 수행하게 하는 환경을 뜻한다. 별도의 모델 가중치를 바꾸는 방식은 아니다. 저장소에 최신 릴리스 정보는 없다.

이 틀은 현재 작업을 실행한 결과를 비교해 다음 구성을 만들고, 근거가 있는 개선 내용을 이후 작업에도 축적한다. 작업별 결과를 다음 설정에 반영하는 순환 구조가 핵심이다. 따라서 개선의 초점은 모델 자체가 아니라 모델을 둘러싼 실행 환경과 지침이다. 저장소에는 전문 업무와 법률 업무 등을 다루는 여러 평가 묶음의 실행·채점·보고 도구와 설치 안내가 포함된다. Python으로 작성됐으며 Apache-2.0 라이선스로 공개됐다. 평가 도구가 제공된다는 사실은 여러 업무에서 개선이 입증됐다는 뜻과는 다르다.

성능 향상 수치는 저장소가 제시한 시험 결과이며, 독립적으로 확인된 결과로 취급할 수 없다. 이 자료만으로는 제시된 개선이 외부 조건에서도 재현되는지 판단하기 어렵다. 그러므로 harness2의 핵심은 모델 변경 없이 하네스를 반복 조정하고 결과를 축적하는 연구 틀에 있으며, 성능 효과는 독립 검증 전까지 저장소의 시험 범위 안에서 읽어야 한다.