spider-rs/spider는 Rust로 작성된 동시성 중심 웹 크롤링 엔진이다. 저장소의 최신 릴리스는 v2.52.2다. 확인된 출처에는 이 버전의 변경 내역이 남아 있지 않다. 이번 릴리스가 무엇을 개선했는지는 근거 없이 말할 수 없고, 이 저장소가 어떤 도구인지와 공개된 기능 범위만 확인된다.
Spider는 페이지를 가져오는 대로 처리하는 스트리밍 방식의 수집 엔진이다. 저장소 설명은 이 프로젝트를 Rust로 저지연 웹 데이터 수집용이라고 밝힌다. 웹사이트 링크 탐색과 동시 수집을 지원하고, JavaScript가 필요한 페이지만 headless Chrome으로 렌더링하며 나머지는 HTTP로 가져온다. 수집과 렌더링을 한 엔진 안에서 함께 처리하는 구조다. 프록시, 재시도, 요청 속도 제한, 탐지 회피용 stealth 기능을 함께 제공한다.
단일 스크립트부터 분산 작업자 환경까지 같은 API와 동시성 모델을 쓰며, 호스팅 서비스 Spider Cloud도 같은 엔진을 사용한다. 라이브러리와 CLI로 배포되고 MIT 라이선스로 공개돼 있다. 저장소는 2018년 1월 7일 만들어졌고 GitHub 스타는 2790개다.
근거는 여기서 멈춘다. v2.52.2의 변경 내역이 없고, 다른 크롤러와 비교한 성능 수치도 확인된 출처에 없다. 평가 기록에는 10점 만점 척도에서 모멘텀 항목만 2.3으로 남아 있고 참신함·기술·품질 항목은 점수가 없다. 모멘텀 2.3은 낮은 편으로 읽힌다. 단일 스크립트에서 분산 작업자 환경까지 같은 API를 쓴다는 범위와 오래된 공개 이력은 분명히 읽힌다. 다만 이번 릴리스가 무엇을 개선했는지, 그리고 지금의 크롤링 도구들 사이에서 어느 정도의 위치인지는 이 정보만으로는 판단하기 이르다.