github.devotd.

웹 수집 및 크롤링

후속 활용을 위한 웹 콘텐츠 수집·추출이 주목적인 크롤러, 스크레이퍼 및 웹 수집 파이프라인입니다. 브라우저 기반·AI 보조 수집도 포함합니다. 범용 대화형 브라우저 에이전트, 독립형 문서 형식 변환 및 완성형 검색·응답 앱은 제외합니다.

이 분야의 프로젝트 (1)
프로젝트하는 일스타언어라이선스최근 릴리스
unclecode/crawl4aiLLM과 에이전트를 위해 웹사이트를 깔끔한 LLM용 Markdown으로 수집·변환합니다.★ 85.8KPythonApache-2.0v0.9.5