allenai/olmocr 是一套工具集合,把以屏幕图像形式提供的文档(如 PDF、PNG、JPEG)转换为 Markdown 和易读的纯文本。该仓库把这一目标描述为文档线性化(linearizing PDFs)工具包,其结果用于 LLM 数据集与训练。GitHub 上的最新发行版是 v0.4.27。
README 说明它能够处理公式、表格、手写内容和复杂排版,去除页眉与页脚,并且在含有插图或多栏排版时也能按自然的阅读顺序转换。它是 olmOCR 模型流水线,把正文、表格、公式和阅读顺序放在同一个流程中处理。实现语言为 Python,许可证为 Apache-2.0,GitHub 星标数为 19776。仓库创建于 2024 年 9 月 17 日,由于模型基于 7B VLM(视觉语言模型),因此需要 GPU。它还一并提供 olmOCR-Bench,用于测量 OCR 系统的性能。
不过,由于这条记录没有变更列表,无法得知 v0.4.27 中究竟改动了什么。记录中提到提供了 olmOCR-Bench,但同样没有 olmOCR-Bench 的分数,也没有与其他模型的对比结果。仅凭内置了评估工具,并不意味着就取得了好结果。记录中留下的数值只有 momentum(动量)分数 5.1(满分 10 分),技术、质量和原创性分数均为空。由于 7B 模型需要 GPU,吞吐量和成本是需要另行确认的点。在性能依据仍然缺失的情况下,它值得作为训练流水线中文档预处理环节的候选来评估。