웹 수집 및 크롤링
후속 활용을 위한 웹 콘텐츠 수집·추출이 주목적인 크롤러, 스크레이퍼 및 웹 수집 파이프라인입니다. 브라우저 기반·AI 보조 수집도 포함합니다. 범용 대화형 브라우저 에이전트, 독립형 문서 형식 변환 및 완성형 검색·응답 앱은 제외합니다.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| unclecode/crawl4ai | LLM과 에이전트를 위해 웹사이트를 깔끔한 LLM용 Markdown으로 수집·변환합니다. | ★ 85.8K | Python | Apache-2.0 | v0.9.5 |