unclecode/crawl4ai v0.9.5는 LLM과 AI 에이전트를 위한 Python 기반 오픈소스 웹 크롤러·스크레이퍼다. 웹사이트의 내용을 LLM이 활용하기 쉬운 마크다운으로 바꾸며, Apache-2.0 라이선스로 공개됐다. 저장소의 GitHub 별은 85644개다.
직접 실행할 때는 pip install -U crawl4ai와 crawl4ai-setup으로 브라우저를 설치한 뒤 비동기 크롤러인 AsyncWebCrawler를 사용할 수 있다. README는 무료 라이브러리, Docker 자체 서버, Crawl4AI Cloud를 이용 방식으로 제시한다. 호스팅 서버에는 마크다운을 반환하는 /scrape와 JSON을 반환하는 /extract가 있고, 검색·질의응답 및 여러 URL 처리 경로도 마련돼 있다. /scrape/jobs는 여러 URL을 처리하는 작업 경로이며 MCP 엔드포인트도 제공된다. 비동기 브라우저 풀과 캐싱, 사이트 패턴에 맞춰 필요한 부분을 탐색하는 적응형 처리, 세션·프록시·쿠키 제어도 문서에 소개된다.
Crawl4AI Cloud는 월 1,000 크레딧까지 무료로 제공되며 유료 이용은 월 10달러부터다. 따라서 라이브러리와 자체 서버, 호스팅 서비스는 운영 방식과 비용이 다른 선택지다. 제공된 자료에는 이 경로들의 성능을 견준 수치가 없다. 특히 에이전트 데이터 수집 계층의 표준으로 자리 잡았다는 설명을 뒷받침할 비교 결과는 제시되지 않아, 실제 적합성은 별도로 판단해야 한다.