github.devotd.
새 소식데이터

omkarcloud/botasaurus — 브라우저·HTTP 웹 스크래핑 프레임워크

omkarcloud/botasaurus는 브라우저 자동화와 브라우저처럼 동작하는 HTTP 요청을 함께 제공하는 Python 웹 스크래핑 프레임워크다.

저장소 정보omkarcloud/botasaurus ↗

The All in One Framework to Build Undefeatable Scrapers

스타
★ 5.8K
포크
506
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

omkarcloud/botasaurus는 브라우저 자동화와 브라우저처럼 동작하는 HTTP 요청을 함께 제공하는 Python 웹 스크래핑 프레임워크다. 저장소 설명은 적은 시간과 코드로 스크레이퍼를 개발하도록 돕는 도구로 소개한다. 최신 릴리스 정보는 주어지지 않았다. 따라서 특정 버전의 변경 사항이 아니라 저장소가 제공하는 기능을 살펴보는 내용이다.

이 프로젝트는 웹 페이지 요청부터 데이터 추출까지 이어지는 작업을 한 프레임워크에서 다루는 데 초점을 둔다. README 요약에 따르면 병렬 처리, 프로필과 프록시 설정, 캐싱, 사이트맵, 데이터 정제도 지원한다. 브라우저 자동화에는 사람과 비슷한 마우스 움직임을 다루는 방법이 포함되며, 일부 봇 탐지와 Cloudflare CAPTCHA에 대응하는 방법도 안내한다. Kubernetes를 이용한 확장과 UI 기반 스크레이퍼 구성도 다룬다. MIT 라이선스로 공개되어 있고, 주요 언어는 Python이다. 이 기능 묶음은 여러 수집 경로와 보조 기능을 한곳에서 구성하려는 경우에 의미가 있다.

다만 제공된 FACTS에는 성능 벤치마크나 기능별 검증 결과가 없다. 봇 탐지와 CAPTCHA 대응 안내가 실제 사이트에서 어느 정도 통하는지도 제시된 정보만으로는 판단하기 어렵다. 따라서 성능이나 우회 성공률이 중요한 선택 기준이라면, 기능 목록만으로 적합성을 판단하기 어렵다.