Devotd Github
새 소식평가

ai-safety-institute/transect v0.7.0 — 다중 epoch 스캔 인덱스

한 샘플을 여러 epoch에 걸쳐 스캔한 결과를 epoch별 리포트와 합산 신뢰도로 묶어 보여주는 런 인덱스를 추가하고 버전을 0.7.0으로 올린 transect의 커밋.

저장소 정보ai-safety-institute/transect ↗

한 샘플을 여러 epoch에 걸쳐 스캔한 결과를 epoch별 리포트와 합산 신뢰도로 묶어 보여주는 런 인덱스를 추가하고 버전을 0.7.0으로 올린 transect의 커밋.

GitHub 설명: Transcript analysis for long-horizon agent evaluations

스타
★ 59
포크
8
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

ai-safety-institute/transect는 inspect-scout 위에 올라간 에이전트 평가용 트랜스크립트 분석 도구다. 파이썬 3.12 이상을 요구한다. 2026년 11월 5일 커밋 2655747은 한 샘플을 여러 epoch(스캔 회차)에 걸쳐 처리한 결과를 묶어 보여주는 런 인덱스를 추가했다. pyproject.toml의 버전은 0.6.1에서 0.7.0으로 올랐고, diff는 854줄 추가와 57줄 삭제 규모다.

이제 render()는 epoch마다 report_epoch2.html 같은 리포트 파일을 만들고 거기에 report_index.html을 하나 더 쓴다. 인덱스는 report_paths의 첫 번째에 들어가 기본으로 열린다. 안에는 각 epoch 리포트와 그 epoch의 실행 상태, 여러 epoch에 걸쳐 합산한 판단 표면의 신뢰도, 실행 전체의 스캔 상태가 들어간다.

합산 신뢰도는 새로 추가된 src/transect/report/collection.py가 계산하고 index.html.j2, runs.html.j2, collection_reliability.html.j2 템플릿이 그린다. 표는 기록된 저지 설정과 라벨 어휘별로 행을 나누어 유효한 투표 수와 설정이 기대하는 표본 수, 프레임의 judge_agreement 평균, 쌍별 일치도, 원본 투표로 낸 α와 AC1, 검증자의 재표시 수와 무작위 표본 확인에서 뒤집힌 수를 함께 보여준다. 인덱스는 section_order 밖에 있어 트랜스크립트를 읽지 않고 차트 런타임도 요구하지 않는다. epoch가 하나뿐이면 인덱스는 만들어지지 않는다.

다만 이 값들은 여러 epoch의 저지 감사를 합친 것이고, 문서도 일관성을 잰 값이지 정확성을 잰 값이 아니라고 명시한다. 표의 행은 저지 설정과 라벨 어휘별로 나뉘므로 비교는 같은 구성 안에서 읽어야 한다. 한 번의 실행보다 같은 구성에서의 반복 실행 경향을 보는 용도에 가깝다.