rayenmlayeh/jevcrawl 是一个 MCP（Model Context Protocol）服务器兼 CLI，为 AI 代理浏览网站并找到包含答案的页面。2026 年 10 月 26 日，合并了 PR #9（audit-fixes）的提交 7aed9b7 是该仓库的最新变更，原样保留在 GitHub 上。该提交涉及重定向范围、时间限制、站点地图 gzip 处理和缓存写入批处理。变更涉及 14 个文件，新增 199 行，删除 121 行。
关键在于，决定爬取能走多远的边界变得清晰了。如果重定向后的最终 URL 超出了被爬取的主机，该页面会被丢弃。在尊重 robots.txt（爬虫许可规则文件）的配置中，即使重定向到被 robots 阻止的 URL，也会被跳过。只有起始页面作为例外，可以重定向到任何地方。处理每个页面的各个阶段现在都由 asyncio.timeout 包裹，因此即使遇到缓慢的服务器或重试循环，也不会超过 max_seconds，并以 max_seconds 作为停止原因。现在无论配置如何，始终都可以读取 robots，即使不尊重 robots，也可用于读取站点地图（sitemap，网站的 URL 列表）。
该项目的目的是让代理自行找到所需的页面。仓库说明声称，它找到答案页面的频率是 Crawl4AI 的 2 倍，而每个答案的成本比 Claude 直接爬取低 10 倍。本次变更并不是证明这些数字的证据，而是修正了真正能够阻止越界移动和超时的规则。决定（decide）模块的缓存写入改为批量处理，爬取测试增加了 63 行。
这一判断有明显的局限。2 倍和 10 倍是仓库说明自行提出的数字，而该提交中并没有支撑它们的测量或基准测试。站点地图 gzip 处理和缓存写入批处理的详细实现，在这些文件的补丁公开记录中并不存在，因此只能从文件变更和提交信息说明中确认。许可证和实现语言也未包含在本次记录中。既然尚无依据断言性能有所提升，那么在直接验证结果之前，这仍是一次值得一看的变更。