rayenmlayeh/jevcrawl は、AI エージェントのためにウェブサイトを探索し、答えを含むページを見つけてくれる MCP（Model Context Protocol）サーバー兼 CLI である。2026 年 10 月 26 日、PR #9（audit-fixes）をマージしたコミット 7aed9b7 がこのリポジトリの最新変更であり、GitHub 上にそのまま残っている。このコミットはリダイレクト範囲、時間制限、sitemap の gzip 処理、キャッシュ書き込みのバッチ処理に対応した。変更は 14 ファイルに及び、199 行の追加と 121 行の削除からなる。
要点は、クロールがどこまで進めるかを決める境界が明確になったことである。リダイレクト後の最終 URL がクロール対象ホストの外に出た場合、そのページは破棄される。robots.txt（クローラー許可ルールのファイル）を尊重する設定では、robots がブロックしている URL へリダイレクト先即使到達してもスキップされる。開始ページのみが例外で、どこにでもリダイレクトできる。ページを処理する各段階は asyncio.timeout で包まれるようになり、遅いサーバーやリトライループがあっても max_seconds を超過することはできず、max_seconds を停止理由として止まる。robots の読み取りは設定によらず常に可能になり、robots を尊重しない場合でも sitemap（サイトの URL 一覧）の読み取りに使われる。
このプロジェクトの目的は、エージェントが必要とするページを自分たちで探せるようにすることにある。リポジトリの説明は、Crawl4AI よりも 2 倍多く答えのページを見つけ、Claude が直接クロールするより 1 回答あたり 10 倍安価だと主張している。今回の変更は、その数字を裏づける資料ではなく、範囲外の移動とタイムアウトを実際に止める規則を修正したものである。decide モジュールのキャッシュ書き込みはまとめて処理する方式に変更され、クロールのテストは 63 行増えた。
判断には明快な限界がある。2 倍と 10 倍という数字はリポジトリの説明が自ら挙げたものであり、このコミットにはそれを裏づける測定やベンチマークは含まれていない。sitemap の gzip 処理とキャッシュ書き込みのバッチ処理の詳細な実装は、それらのファイルのパッチが公開されている記録にないため、ファイルの変更とコミットメッセージの説明からのみ確認できる。ライセンスと実装言語も今回の記録には含まれていない。性能が改善したと断定できる根拠はまだ示されていないため、結果を直接確かめる前に一度目を通す価値はある変更である。