adbar/trafilatura 是一个 Python 包兼命令行工具,用于收集网页文本,把原始 HTML 转换为结构化数据。仓库说明表示它支持 URL 下载、网页爬取和抓取,并提取正文、元数据和文档注释。GitHub 上的最新版本是 v2.3.1。
爬取是遍历站点收集页面,抓取是从收集到的页面中只取出需要的值。除了直接接收 URL,这个工具还支持从网页订阅源列表中寻找链接的探索功能。它会减少重复页眉、页脚之类的噪声,只保留正文和元数据。导出格式可选 TXT、Markdown、CSV、JSON、HTML、XML 等。实现语言是 Python,许可证是 Apache-2.0。仓库创建于 2019 年 4 月 8 日,GitHub 的 star 数为 6998。
不过,仅凭这条记录能做的判断有限。v2.3.1 改了什么,由于没有变更清单而无法得知。也没有给出与其他工具比较正文提取准确率的数值或评价标准。剩下的分数只有 momentum 3.6,新颖性、技术和质量分数都是空的。除了项目延续至今这一点,这条记录里没有支撑提取质量的依据。因此无法只凭这条记录决定是否采用,使用前需要另外确认。