github.devotd.
新着データ

unstructured-io/unstructured 0.27.32 — 文書を構造化要素に変換する ETL

PDF・Word 文書、HTML、画像などを意味のある要素に分解し、構造化テキストへ変換するオープンソース ETL ライブラリ unstructured-io/unstructured の 0.27.32 リリースと、この記録にない変更リストおよび性能の根拠を扱う記事。

リポジトリ情報unstructured-io/unstructured ↗

PDF・Word 文書、HTML、画像などを意味のある要素に分解し、構造化テキストへ変換するオープンソース ETL ライブラリ unstructured-io/unstructured の 0.27.32 リリースと、この記録にない変更リストおよび性能の根拠を扱う記事。

GitHub の説明: Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

スター
★ 15.6K
フォーク
1.4K
言語
HTML
ライセンス
Apache-2.0
最新リリース
0.27.32
原文を見る ↗GitHub で見る ↗

unstructured-io/unstructured は、PDF、Word 文書、HTML、画像といった非構造化データを意味のある要素に分解し、構造化テキストに変換するオープンソースライブラリである。GitHub の最新リリースは 0.27.32 で、このリリースで変更された項目は、この記録には載っていない。

このライブラリが行うのは、文書をまとめて読み取るのではなく、要素単位に切り分けて言語モデルに入れるデータとして整えることである。README は、画像や PDF、HTML、Word 文書といった非構造化データを収集・前処理し、LLM のデータ処理ワークフローを単純化すると説明している。モジュール化された関数とコネクタを提供し、多様なプラットフォーム上で非構造化データを構造化された結果へ効率よく変換する手助けをする。リポジトリはこの目的を ETL(抽出・変換・取込)ライブラリとして説明している。ライセンスは Apache-2.0 で、GitHub のスターは 15583 個。リポジトリの作成日は 2022 年 9 月 26 日である。分解された結果は RAG の取り込みに使われる。

ただし、この記録には 0.27.32 の変更リストも、処理性能を比較した数値も存在しない。記録に残った数値はモメンタム(momentum)スコア 3.3(10 点満点)のみで、低く読み取れる一方、技術・品質・革新性のスコアは空欄である。リポジトリの説明は、パーティショニングと強化、チャンキング、エンベディングを扱うエンタープライズ向けプラットフォーム製品にも誘導するが、このライブラリがどこまで提供するかは、この記録からは確認できない。根拠が浅いため、現時点では RAG の前段としての文書前処理候補として控えておくのが適切である。