spider-rs/spider 是一个用 Rust 编写的、以并发为核心的网络爬取引擎。该仓库的最新版本是 v2.52.2。已确认的来源中没有保留这个版本的变更记录。无法在没有依据的情况下说明本次发布改进了什么;能确认的只有这个仓库是什么样的工具,以及公开记录下来的功能范围。
Spider 是一个边抓取边处理页面的流式采集引擎。仓库说明将该项目描述为用 Rust 编写的低延迟网络数据采集工具。它支持网站链接发现与并发采集,只对需要 JavaScript 的页面使用 headless Chrome 渲染,其余页面通过 HTTP 获取。它把采集与渲染放在同一个引擎内统一处理。它还一并提供代理、重试、请求速率限制,以及用于规避检测的隐身功能。
从单个脚本到分布式工作节点环境,它都使用同一套 API 和并发模型,托管服务 Spider Cloud 也使用同一个引擎。它以库和 CLI 的形式发布,并以 MIT 许可证公开。该仓库创建于 2018 年 1 月 7 日,GitHub 星标数为 2790 个。
证据到此为止。没有 v2.52.2 的变更记录,已确认的来源中也没有与其他爬虫的性能对比数据。评估记录中,在 10 分制下只有“势能”一项留下了 2.3 分,独创性、技术、质量三项均无分数。2.3 的势能评分读起来偏低。从单个脚本到分布式工作节点环境都使用同一套 API 的覆盖范围,以及较早的公开历史,都清晰可辨。不过,本次发布改进了什么,以及它在当前的爬虫工具中处于什么位置,仅凭这些信息还难以判断。