github.devotd.
新发现数据

adbar/trafilatura v2.3.1 — 网页正文与元数据提取工具

adbar/trafilatura 是一个 Python 工具,通过网页爬取和抓取提取正文与元数据,并导出为 TXT、JSON、Markdown 等格式,GitHub 上的最新版本是 v2.3.1。

仓库信息adbar/trafilatura ↗

adbar/trafilatura 是一个 Python 工具,通过网页爬取和抓取提取正文与元数据,并导出为 TXT、JSON、Markdown 等格式,GitHub 上的最新版本是 v2.3.1。

GitHub 项目说明: Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML

星标
★ 7K
复刻
461
语言
Python
许可证
Apache-2.0
最新版本
v2.3.1
查看原始来源 ↗在 GitHub 查看 ↗

adbar/trafilatura 是一个 Python 包兼命令行工具,用于收集网页文本,把原始 HTML 转换为结构化数据。仓库说明表示它支持 URL 下载、网页爬取和抓取,并提取正文、元数据和文档注释。GitHub 上的最新版本是 v2.3.1。

爬取是遍历站点收集页面,抓取是从收集到的页面中只取出需要的值。除了直接接收 URL,这个工具还支持从网页订阅源列表中寻找链接的探索功能。它会减少重复页眉、页脚之类的噪声,只保留正文和元数据。导出格式可选 TXT、Markdown、CSV、JSON、HTML、XML 等。实现语言是 Python,许可证是 Apache-2.0。仓库创建于 2019 年 4 月 8 日,GitHub 的 star 数为 6998。

不过,仅凭这条记录能做的判断有限。v2.3.1 改了什么,由于没有变更清单而无法得知。也没有给出与其他工具比较正文提取准确率的数值或评价标准。剩下的分数只有 momentum 3.6,新颖性、技术和质量分数都是空的。除了项目延续至今这一点,这条记录里没有支撑提取质量的依据。因此无法只凭这条记录决定是否采用,使用前需要另外确认。