github.devotd.
新着データ

omkarcloud/botasaurus — ブラウザ・HTTP 向けのウェブスクレイピングフレームワーク

omkarcloud/botasaurus は、ブラウザ自動化とブラウザのように振る舞う HTTP リクエストを両立する Python のウェブスクレイピングフレームワークです。

リポジトリ情報omkarcloud/botasaurus ↗

The All in One Framework to Build Undefeatable Scrapers

スター
★ 5.8K
フォーク
506
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

omkarcloud/botasaurus は、ブラウザ自動化とブラウザのように振る舞う HTTP リクエストを両立する Python のウェブスクレイピングフレームワークです。リポジトリの説明では、より短い時間とコードでスクレイパーを開発できるツールとして紹介されています。最新リリースの情報は与えられていません。そのため、特定のバージョンの変更点ではなく、リポジトリが提供する機能を確認する内容となっています。

このプロジェクトは、ウェブページの取得からデータ抽出までの工程を 1 つのフレームワークで扱うことに重点を置いています。README の概要によると、並列処理、プロファイルとプロキシの設定、キャッシュ、サイトマップ、データクリーニングに対応しています。ブラウザ自動化には人間に近いマウス移動の扱いも含まれ、一部のボット検知や Cloudflare の CAPTCHA への対処方法 fatality もNAVります。Kubernetes によるスケールアウトや、UI によるスクレイパーの構成についても触れています。MIT ライセンスで公開されており、主要言語は Python です。複数の収集経路と補助機能を一箇所にまとめたい場合に、この機能セットは意味を持ちます。

ただし、提供された FACTS には性能ベンチマークも機能別の検証結果もありません。ボット検知や CAPTCHA への対処が実際のサイトでどの程度通用的かについても、提示された情報だけでは判断しにくい期为います。そのため、性能や回避の成功率が重要な選定基準であれば、機能一覧だけでは適合度を判断できません。