github.devotd.
新发现数据

unstructured-io/unstructured 0.27.32 — 把文档转换为结构化元素的 ETL

unstructured-io/unstructured 是一个开源 ETL 库,把 PDF、Word 文档、HTML 和图像拆解为有意义的元素并转换为结构化文本。本文介绍 0.27.32 版本、这份记录中没有的变更列表,以及性能方面的依据。

仓库信息unstructured-io/unstructured ↗

unstructured-io/unstructured 是一个开源 ETL 库,把 PDF、Word 文档、HTML 和图像拆解为有意义的元素并转换为结构化文本。本文介绍 0.27.32 版本、这份记录中没有的变更列表,以及性能方面的依据。

GitHub 项目说明: Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

星标
★ 15.6K
复刻
1.4K
语言
HTML
许可证
Apache-2.0
最新版本
0.27.32
查看原始来源 ↗在 GitHub 查看 ↗

unstructured-io/unstructured 是一个开源库,把 PDF、Word 文档、HTML、图像等非结构化数据拆解为有意义的元素并转换为结构化文本。GitHub 上的最新版本是 0.27.32,而该版本改动了什么,这份记录中没有。

这个库所做的,不是整篇读取文档,而是把文档拆成元素级的单元,整理成可以喂给语言模型的数据。README 说明,它会采集并预处理图像、PDF、HTML、Word 文档等非结构化数据,从而简化 LLM 的数据处理流程。它提供模块化的函数和连接器,帮助在各种平台上高效地把非结构化数据转换为结构化结果。仓库把这一用途描述为一个 ETL(提取、转换、加载)库。许可证是 Apache-2.0,GitHub 星标数为 15583 个,仓库创建于 2022 年 9 月 26 日。拆分后的结果用于 RAG 采集。

不过,这份记录既没有 0.27.32 的变更列表,也没有用于比较处理性能的数据。记录中留下的数字只有动量(momentum)分 3.3 分(满分 10 分),读起来偏低,而技术、质量和原创性分数都是空的。仓库说明还一并提到一款涵盖分区与增强、分块和嵌入的企业级平台产品,但这个库本身能做到哪一步,无法从这份记录确认。依据不充分,眼下更适合把它标记为 RAG 前置文档预处理的候选。