ウェブ収集とクローリング

後続利用のためのウェブコンテンツ収集・抽出を主目的とするクローラー、スクレイパー、取り込みパイプライン。ブラウザー駆動・AI支援の収集も含む。汎用対話型ブラウザーエージェント、独立した文書形式変換、完成された検索回答アプリは除く。