spider-rs/spider は Rust で書かれた同時実行を中心とする Web クローリングエンジンだ。リポジトリの最新リリースは v2.52.2 である。確認できた出典にはこのバージョンの変更履歴が残っていない。今回のリリースが何を改善したかは根拠なく述べることはできず、確認できるのはこのリポジトリがどのようなツールであるかと、公開されている機能の範囲だけである。
Spider はページを取得しながら処理するストリーミング方式の収集エンジンだ。リポジトリの説明では、このプロジェクトは Rust で書かれた低レイテンシの Web データ収集ツールだとされている。Web サイトのリンク探索と並行収集に対応し、JavaScript が必要なページだけをヘッドレス Chrome でレンダリングし、残りは HTTP で取得する。収集とレンダリングをひとつのエンジン内でまとめて扱う構成だ。プロキシ、リトライ、リクエスト速度制限、検知回避用のステルス機能も併せて提供する。
単一スクリプトから分散ワーカー環境まで同じ API と同時実行モデルを使い、ホスティングサービスの Spider Cloud も同じエンジンを利用する。ライブラリと CLI として配布され、MIT ライセンスで公開されている。リポジトリは 2018 年 1 月 7 日に作成され、GitHub スターは 2790 個だ。
根拠はここまでだ。v2.52.2 の変更履歴はなく、他のクローラーと比較した性能数値も確認できた出典には見当たらない。評価記録には 10 点満点のスケールで、モメンタムの項目のみ 2.3 が残り、斬新さ・技術・品質の各項目にはスコアがない。モメンタムの 2.3 はやや低いと読み取れる。単一スクリプトから分散ワーカー環境まで同じ API を使うという広さと、古い公開履歴ははっきり読み取れる。ただし、今回のリリースが何を改善したのか、そして現在のクローリングツールの中でどの程度の位置に立っているのかまでは、この情報だけでは判断しづらい。