Devotd Github
新着RAG・検索

souheil007/rag_full_version — 評価分離の設計文書を追加

Docling と Pixtral をベースとした文書 RAG リポジトリに、検索指標と音声クエリの回避精度を分離し、VLM テーブル修復を再検証する設計文書 Plan 9 が追加された。

リポジトリ情報souheil007/rag_full_version ↗

Docling と Pixtral をベースとした文書 RAG リポジトリに、検索指標と音声クエリの回避精度を分離し、VLM テーブル修復を再検証する設計文書 Plan 9 が追加された。

GitHub の説明: Production-grade Document RAG with IBM Docling AST parsing, automated VLM table repair (Pixtral), dual-representation serialization, hybrid RRF retrieval, and sub- 2s latency.

スター
★ 6
フォーク
0
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

souheil007/rag_full_version の最新コミット a9aeab5(2026-10-17) はコードではなく設計文書 1 件のみを追加する。plans/plan9.md に 100 行が追加され、削除はない。リポジトリの説明は、このプロジェクトを IBM Docling による AST パース、Pixtral ベースの VLM テーブル修復、デュアル表現のシリアライズ、ハイブリッド RRF 検索により 2 秒未満の応答時間を実現する文書 RAG と説明している。本文書は、その RAG の評価方式とテーブル修復手順を再設計する「Plan 9」のドラフトである。

計画書の第1の軸は評価の分離である。現在の構造では、正解文書 ID が空の音声クエリ(回答できない質問)も検索指標に含まれて 0 点として集計され、その結果、検索性能の数値が低くなる可能性がある。この計画は検索評価(Hit Rate@K、MRR、Precision、Recall)を回答可能なクエリにのみ適用し、音声クエリについては「わからない」という趣旨で回答したかどうかを数える abstention accuracy(回避精度)を別個に計算して、scorecard を分離する。

第2の軸は VLM の再検証である。破損したテーブルを Pixtral に渡してレイアウトを修正した後、その結果を再び TableSanityChecker に投入し、原文との対応および列計算が正しいかを確認し、合格しない場合は repaired=False と method='vlm_validation_failed' として拒否し、元のテーブルを AST に残す。ヘッダ正規化によって値がデータセルに前倒しされるのを防ぐセル不変条件の検証や、VLM 転換目標 5%(コスト SLA)と検出精度(Recall/Precision)を区別する文書の整理も併せて含まれている。

ただし今回のコミットには計画のみが含まれている。evaluator.py、table_repairer.py、テスト、文書の更新はチェックリストとしてのみ残っており、実際の実装や測定結果は含まれない。検索指標の分離と VLM 再検証が現在機能しているか、テーブル修復がどのくらいの頻度で拒否されるかは、このコミットだけでは分からない。ライセンスとスター数についても示されていない。