adbar/trafilatura는 웹의 텍스트를 수집하고 원시 HTML을 구조화된 데이터로 변환하는 Python 패키지이자 명령줄 도구다. 저장소 설명은 URL 다운로드와 웹 크롤링, 스크래핑을 지원하며 본문과 메타데이터, 문서의 주석을 뽑는다고 밝힌다. GitHub의 최신 릴리스는 v2.3.1이다.
크롤링은 사이트를 훑어 페이지를 모으는 일이고, 스크래핑은 모은 페이지에서 필요한 값만 떼어내는 일이다. 이 도구는 URL을 직접 받는 것에 더해 웹 피드 목록에서 링크를 찾는 탐색까지 지원한다. 반복되는 헤더·푸터 같은 잡음을 줄이고 본문과 메타데이터를 남긴다. 내보낼 형식은 TXT, Markdown, CSV, JSON, HTML, XML 등으로 고를 수 있다. 구현 언어는 Python이고 라이선스는 Apache-2.0이다. 저장소는 2019년 4월 8일에 만들어졌고 GitHub 스타는 6998개다.
다만 이 기록으로 판단할 수 있는 데에는 한계가 있다. v2.3.1에서 무엇이 바뀌었는지는 변경 목록이 없어 알 수 없다. 본문 추출 정확도를 다른 도구와 비교한 수치나 평가 기준도 주어지지 않았다. 남은 점수는 모멘트(momentum) 3.6뿐이고 참신성·기술·품질 점수는 비어 있다. 오래 이어져 왔다는 사실 외에 추출 품질을 뒷받침할 근거는 이 기록에 없다. 그래서 이 기록만으로 채택을 결정할 수는 없고, 쓰기 전에 별도 확인이 필요하다.