Devotd Github
새 소식평가

zju-real/ageval 7a8c975 — 평가 실행 전 환경 점검 스킬 추가

zju-real/ageval에 죽은 프록시, 호출 타임아웃, 패키지 미러, 모델 라우팅 같은 실행 전 환경 점검 절차를 담은 eval-ops-pitfalls 스킬이 문서로 추가됐다.

저장소 정보zju-real/ageval ↗

zju-real/ageval에 죽은 프록시, 호출 타임아웃, 패키지 미러, 모델 라우팅 같은 실행 전 환경 점검 절차를 담은 eval-ops-pitfalls 스킬이 문서로 추가됐다.

GitHub 설명: Agent eval on one running base. Swap the agent under test with plugins; run the same dataset anywhere.

스타
★ 72
포크
2
언어
Python
라이선스
MIT
최신 릴리스
v0.9.0
원문 보기 ↗GitHub에서 보기 ↗

zju-real/ageval 저장소에 2026년 10월 28일 커밋 7a8c975가 들어왔다. 테스트할 에이전트를 플러그인으로 바꿔 같은 데이터셋을 어디서든 돌리는 평가 도구의 문서만 바꾼 커밋이다. 81줄 추가, 0줄 삭제이고 건드린 파일은 네 개다.

핵심은 새로 생긴 skills/eval-ops-pitfalls/SKILL.md다. 실행 전에 볼 여섯 가지 항목과 평가기 설정 점검 절차를 담고 있다. 죽은 로컬 HTTP_PROXY로 인한 환경 이미지 해석 실패, AGEVAL_AGENT_INVOKE_TIMEOUT과 acp_timeout의 관계, AGEVAL_APT_MIRROR를 쓴 패키지 미러 접근성, 모델 ID와 제공자 접두사에 따른 라우팅 오류, PEP668(externally-managed-environment)로 막히는 Python 패키지 설치, 평가기 의존성과 파일 권한 문제다. 증상별로 무엇을 먼저 확인할지 표로 정리되어 있다. 이 스킬은 skills/ageval-platform/SKILL.md 라우팅 표에 'Pre-run environment checks and suite troubleshooting' 항목으로 걸리고, CLI 쪽 skills/ageval-cli/references/failures.md 표에는 environment_image_unresolved, acp_timeout, API 400, PEP668, 거의 전부 FAIL인 경우가 각각 $eval-ops-pitfalls를 가리키도록 5줄이 붙었다. Docker 플러그인 README도 1줄 바뀌었다.

방향은 분명하다. 모델 성능이 아니라 환경 준비 실패를 걸러야 해석할 수 있다는 판단을 문서로 남긴 것이다. 거의 모든 태스크가 실패하거나 패치가 비었을 때 대표 결과로 공통 원인을 찾고, 고친 뒤 대표 실행을 검증하고 나서 새 스위트를 돌리라는 순서도 명시한다. 다만 이번 변경은 문서 81줄이 전부다. 이 스킬이 언급하는 환경 변수의 기본값이나 지원 범위, 각 오류 코드를 재현한 결과는 이 커밋에 없다. 어떤 환경에서 이 점검만으로 충분한지는 README와 릴리스 기록이 더 쌓인 뒤에 판단할 수 있다.