rayenmlayeh/jevcrawl은 AI 에이전트를 위해 웹사이트를 탐색해 답이 담긴 페이지를 찾아주는 MCP(Model Context Protocol) 서버이자 CLI다. 2026년 10월 26일, PR #9(audit-fixes)를 병합한 커밋 7aed9b7이 이 저장소의 최신 변경이며, GitHub에 그대로 남아 있다. 이 커밋은 리다이렉트 범위, 시간 제한, 사이트맵 gzip 처리, 캐시 쓰기 묶기를 손보았다. 변경은 14개 파일에 걸치며 199줄이 추가되고 121줄이 삭제됐다.
핵심은 크롤이 어디까지 갈지 정하는 경계가 선명해졌다는 점이다. 리다이렉트된 최종 URL이 크롤 대상 호스트 밖으로 나가면 그 페이지는 버려진다. robots.txt(크롤러 허용 규칙 파일)를 존중하는 설정에서는 robots가 막는 URL로 넘어가도 건너뛴다. 시작 페이지만 예외로 어디로든 리다이렉트될 수 있다. 각 페이지를 처리하는 단계는 이제 asyncio.timeout으로 감싸여, 느린 서버나 재시도 루프가 있어도 max_seconds를 넘지 못하고 max_seconds 정지 사유로 멈춘다. robots 판독은 설정과 무관하게 항상 가능해져 robots를 존중하지 않아도 사이트맵(sitemap, 사이트의 URL 목록)을 읽는 데 쓰인다.
이 프로젝트의 목적은 에이전트가 필요한 페이지를 스스로 찾게 하는 데 있다. 저장소 설명은 Crawl4AI보다 답 페이지를 2배 더 자주 찾고, Claude가 직접 크롤링하는 것보다 답 하나당 10배 싸다고 주장한다. 이번 변경은 그 수치를 입증하는 자료가 아니라, 범위를 벗어난 이동과 시간 초과를 실제로 멈추게 하는 규칙을 고친 일이다. 결정(decide) 모듈의 캐시 쓰기는 묶어서 처리하도록 바뀌었고, 크롤 테스트는 63줄 늘었다.
판단에는 한계가 뚜렷하다. 2배와 10배는 저장소 설명이 스스로 내건 수치이고, 이 커밋에는 이를 뒷받침하는 측정이나 벤치마크가 없다. 사이트맵 gzip 처리와 캐시 쓰기 묶기의 세부 구현은 해당 파일의 패치가 공개된 기록에 없어 파일 변경과 커밋 메시지 설명만으로 확인된다. 라이선스와 구현 언어도 이번 기록에는 담기지 않았다. 성능이 나아졌다고 단정할 근거는 아직 얹지 못했으니, 결과를 직접 확인하기 전에 한 번 들여다볼 가치는 있는 변경이다.