unclecode/crawl4ai v0.9.5 是一个基于 Python、面向 LLM 与 AI 智能体的开源网页爬虫／抓取工具。它把网站内容转换为便于 LLM 使用的 Markdown，并以 Apache-2.0 许可证开源。该仓库在 GitHub 上有 85644 颗星。
自行运行时，先用 pip install -U crawl4ai 和 crawl4ai-setup 安装浏览器，然后使用异步爬虫 AsyncWebCrawler。README 给出三种使用方式：免费库、自建 Docker 服务器和 Crawl4AI Cloud。托管服务器提供返回 Markdown 的 /scrape 和返回 JSON 的 /extract，并具备搜索、问答以及多 URL 处理路径。/scrape/jobs 是处理多个 URL 的任务路径，同时提供 MCP 端点。文档还介绍了带缓存的异步浏览器池、按站点模式只探索必要部分的自适应处理，以及会话、代理和 Cookie 控制。
Crawl4AI Cloud 每月免费提供 1000 额度，付费使用每月 10 美元起。因此，库、自建服务器和托管服务是运营方式与成本各不相同的选项。现有资料没有对比这些路径性能的数值。尤其是「已成为智能体数据采集层的标准」这一说法没有比较结果佐证，其实际适用性需要另行判断。