adbar/trafilatura は Web のテキストを収集し、生の HTML を構造化されたデータへ変換する Python パッケージ兼コマンドラインツールだ。リポジトリの説明は、URL のダウンロード、Web クロール、スクレイピングに対応し、本文とメタデータ、文書の注釈を取り出すとしている。GitHub の最新リリースは v2.3.1 である。
クローリングはサイトを巡回してページを集める作業で、スクレイピングは集めたページから必要な値だけを抜き出す作業である。このツールは URL を直接受け取るだけでなく、Web フィードの一覧からリンクを探す探索にも対応する。繰り返されるヘッダーやフッターなどのノイズを減らし、本文とメタデータを残す。出力形式は TXT、Markdown、CSV、JSON、HTML、XML などから選べる。実装言語は Python で、ライセンスは Apache-2.0 だ。リポジトリは 2019 年 4 月 8 日に作成され、GitHub のスターは 6998 個である。
ただし、この記録から判断できる範囲には限界がある。v2.3.1 で何が変わったかは、変更一覧がないため分からない。本文抽出の精度を他のツールと比較した数値も評価基準も示されていない。残るスコアは momentum 3.6 のみで、新規性・技術・品質スコアは空欄だ。長く続いてきたという事実を除けば、抽出品質を裏づける根拠はこの記録にない。したがってこの記録だけで採用を決めることはできず、利用前に別途確認が必要である。