github.devotd.
新着データ

allenai/olmocr v0.4.27 — PDF と画像を Markdown に線形化

PDF や PNG、JPEG など画像ベースの文書を Markdown とプレーンテキストへ変換し、LLM データセットと学習に使うためのツール群 allenai/olmocr v0.4.27 について、機能・GPU 要件・未確認の性能根拠を取り上げた記事。

リポジトリ情報allenai/olmocr ↗

PDF や PNG、JPEG など画像ベースの文書を Markdown とプレーンテキストへ変換し、LLM データセットと学習に使うためのツール群 allenai/olmocr v0.4.27 について、機能・GPU 要件・未確認の性能根拠を取り上げた記事。

GitHub の説明: allenai/olmocr

スター
★ 19.8K
フォーク
0
言語
Python
原文を見る ↗GitHub で見る ↗

allenai/olmocr は、PDF や PNG、JPEG のように画面画像として与えられる文書を Markdown と読みやすいプレーンテキストに変換するツール群です。リポジトリはこの目的を文書の線形化(linearizing PDFs)ツールキットと表現しており、その結果は LLM データセットと学習に使われます。GitHub の最新リリースは v0.4.27 です。

README は、数式、表、手書き文字や複雑な書式を処理し、ヘッダーとフッターを除去し、図や段組み配置文件構成でも自然な読み順に変換すると説明しています。本文・表・数式・読み順をひとつの流れで処理する olmOCR モデルパイプラインです。実装言語は Python、ライセンスは Apache-2.0 で、GitHub スターは 19776 個です。リポジトリの作成日は 2024 年 9 月 17 日で、モデルが 7B VLM(視覚言語モデル)ベースのため GPU が必要です。OCR システム Trustee の性能を測定する olmOCR-Bench も併せて提供しています。

ただし、この記録には変更リストがないため、v0.4.27 で何が変更されたかは分かりません。olmOCR-Bench は提供されているとしますが、この記録には olmOCR-Bench のスコアも他のモデルとの比較結果もありません。評価ツールが含まれているという事実だけで、良い結果が出たことを意味しません。記録に残っている数値はモメンタム(momentum)スコア 5.1(10 点満点)だけで、技術・品質・独創性のスコアは空欄です。7B モデルに GPU が必要なので、スループットとコストは別途確認すべき点です。性能の根拠がまだ示されていないため、学習パイプラインの文書前処理候補として検討する段階です。