github.devotd.
新着データ

scrapegraphai/scrapegraph-ai — LLM を利用したウェブ・文書情報の抽出

scrapegraphai/scrapegraph-ai は、LLM とグラフロジックを活用して、Web サイトや文書からプロンプトで指定した情報を抽出する Python ライブラリである。

リポジトリ情報scrapegraphai/scrapegraph-ai ↗

Python scraper based on AI

スター
★ 32K
フォーク
3.4K
言語
Python
ライセンス
MIT
最新リリース
v2.3.1
原文を見る ↗GitHub で見る ↗

scrapegraphai/scrapegraph-ai は、Web サイトやローカル文書からプロンプトで指定した情報を抽出する Python のウェブスクレイピングライブラリである。LLM とグラフロジックを活用し、必要なデータの形を定めながら抽出する方式を取っている。リポジトリに記載された最新リリースは v2.3.1 だが、提供された記録にはそのバージョンで新しく変更された内容が示されていない。

README の要約によると、XML、HTML、JSON、Markdown をはじめとするウェブ・文書コンテンツを扱う。SmartScraperGraph を含む複数のパイプラインで単一ページと複数ページを処理し、検索結果から情報を抽出することもできる。Python スクリプトや音声ファイルの生成にも対応していると説明されている。モデル選択としては OpenAI、Groq、Azure、Gemini、MiniMax、Ollama が挙げられている。リポジトリのライセンスは MIT で、プロジェクトは 2024-01-27 に作成された。この構成は、抽出したい項目をプロンプトで指定し、複数の入力形式に適用したい場合に適している。

ただし、この機能説明だけでは抽出の精度や処理速度は判断できない。提供された記録には性能測定の結果がなく、v2.3.1 の変更内容も示されていない。そのため確認できる範囲は対応すると掲げられている入力と機能までであり、具体的な性能や今回のリリースの改善点については別の根拠が必要である。