github.devotd.
新发现数据

allenai/olmocr v0.4.27 — 将 PDF 和图像线性化为 Markdown

介绍 allenai/olmocr v0.4.27:一套把 PDF、PNG、JPEG 等基于图像的文档转换为 Markdown 和纯文本、用于 LLM 数据集与训练的工具集合,文中涵盖其功能、GPU 要求以及尚未得到证实的性能依据。

仓库信息allenai/olmocr ↗

介绍 allenai/olmocr v0.4.27:一套把 PDF、PNG、JPEG 等基于图像的文档转换为 Markdown 和纯文本、用于 LLM 数据集与训练的工具集合,文中涵盖其功能、GPU 要求以及尚未得到证实的性能依据。

GitHub 项目说明: allenai/olmocr

星标
★ 19.8K
复刻
0
语言
Python
查看原始来源 ↗在 GitHub 查看 ↗

allenai/olmocr 是一套工具集合,把以屏幕图像形式提供的文档(如 PDF、PNG、JPEG)转换为 Markdown 和易读的纯文本。该仓库把这一目标描述为文档线性化(linearizing PDFs)工具包,其结果用于 LLM 数据集与训练。GitHub 上的最新发行版是 v0.4.27。

README 说明它能够处理公式、表格、手写内容和复杂排版,去除页眉与页脚,并且在含有插图或多栏排版时也能按自然的阅读顺序转换。它是 olmOCR 模型流水线,把正文、表格、公式和阅读顺序放在同一个流程中处理。实现语言为 Python,许可证为 Apache-2.0,GitHub 星标数为 19776。仓库创建于 2024 年 9 月 17 日,由于模型基于 7B VLM(视觉语言模型),因此需要 GPU。它还一并提供 olmOCR-Bench,用于测量 OCR 系统的性能。

不过,由于这条记录没有变更列表,无法得知 v0.4.27 中究竟改动了什么。记录中提到提供了 olmOCR-Bench,但同样没有 olmOCR-Bench 的分数,也没有与其他模型的对比结果。仅凭内置了评估工具,并不意味着就取得了好结果。记录中留下的数值只有 momentum(动量)分数 5.1(满分 10 分),技术、质量和原创性分数均为空。由于 7B 模型需要 GPU,吞吐量和成本是需要另行确认的点。在性能依据仍然缺失的情况下,它值得作为训练流水线中文档预处理环节的候选来评估。