网页采集与爬取
主要采集或提取网页内容供后续使用的爬虫、抓取工具和网页摄取流水线。包括浏览器驱动和 AI 辅助采集。不包括通用交互式浏览器智能体、独立文档格式转换工具和完整检索问答应用。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| unclecode/crawl4ai | 爬取网站并将内容转换为适合LLM使用的干净Markdown。 | ★ 85.8K | Python | Apache-2.0 | v0.9.5 |
主要采集或提取网页内容供后续使用的爬虫、抓取工具和网页摄取流水线。包括浏览器驱动和 AI 辅助采集。不包括通用交互式浏览器智能体、独立文档格式转换工具和完整检索问答应用。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| unclecode/crawl4ai | 爬取网站并将内容转换为适合LLM使用的干净Markdown。 | ★ 85.8K | Python | Apache-2.0 | v0.9.5 |