unclecode/crawl4ai v0.9.5 は、LLM と AI エージェント向けの Python ベースオープンソース Web クローラー・スクレーパーです。Web サイトのコンテンツを LLM が扱いやすい Markdown に変換し、Apache-2.0 ライセンスで公開されています。リポジトリの GitHub スターは 85644 件です。
自分で実行する場合は、pip install -U crawl4ai と crawl4ai-setup でブラウザをインストールし、非同期クローラーの AsyncWebCrawler を使います。README は utilisation として無料ライブラリ、Docker によるセルフホストサーバー、Crawl4AI Cloud の 3 通りを提示しています。ホスティングサーバーには Markdown を返す /scrape と JSON を返す /extract があり、検索・質問応答、複数 URL を処理するパスも用意されています。/scrape/jobs は複数 URL を処理するジョブ用パスで、MCP エンドポイントも提供されます。ドキュメントには、キャッシュを持つ非同期ブラウザプール、サイトパターンに応じて必要な部分だけを探索する適応型処理、セッション・プロキシ・Cookie の制御も紹介されています。
Crawl4AI Cloud は毎月 1000 クレジットまで無料で提供され、有料プランは月額 10 ドルからです。したがって、ライブラリ、セルフホストサーバー、ホスティングサービスは運用方法とコストの異なる選択肢です。提示された資料には、これらのパスの性能を比べた数値はありません。特に「エージェントのデータ収集層の標準になった」という説明を裏づける比較結果は示されていないため、実際の適合性は別途判断する必要があります。