souheil007/rag_full_version의 최신 커밋 a9aeab5(2026-10-17)는 코드가 아니라 설계 문서 한 건만 추가한다. plans/plan9.md 100줄이 추가됐고 삭제는 없다. 저장소 설명은 이 프로젝트를 IBM Docling AST 파싱, Pixtral 기반 VLM 표 복구, 듀얼 표현 직렬화, 하이브리드 RRF 검색으로 2초 미만의 응답 시간을 내는 문서 RAG라고 밝힌다. 이번 문서는 그 RAG의 평가 방식과 표 복구 절차를 다시 설계하는 'Plan 9' 초안이다.
계획서의 첫 축은 평가 분리다. 지금 구조에서는 정답 문서 ID가 비어 있는 음성 질의(답할 수 없는 질문)도 검색 지표에 포함돼 0점으로 집계되며, 그 결과 검색 성능 수치가 낮아질 수 있다. 이 계획은 검색 평가(Hit Rate@K, MRR, Precision, Recall)를 답할 수 있는 질의에만 적용하고, 음성 질의는 '모른다'는 취지로 답했는지 세는 abstention accuracy(회피 정확도)를 따로 계산해 scorecard를 분리한다.
두 번째 축은 VLM 복귀 검증이다. 손상된 표를 Pixtral에 넘겨 레이아웃을 고친 뒤 결과를 TableSanityChecker에 다시 넣어 원문 대응과 열 계산이 맞는지 확인하고, 통과하지 못하면 repaired=False와 method='vlm_validation_failed'로 거부해 원본 표를 AST에 남긴다. 헤더 정규화가 데이터 셀로 값이 앞당겨지는 것을 막는 셀 불변식 검증과, VLM 전환 목표 5%(비용 SLA)와 탐지 정확도(Recall/Precision)를 구분하는 문서 정리도 함께 들어 있다.
다만 이번 커밋은 계획만 담고 있다. evaluator.py, table_repairer.py, 테스트, 문서 갱신은 체크리스트로만 남아 있고 실제 구현과 측정 결과는 포함되지 않는다. 검색 지표 분리와 VLM 복귀 검증이 현재 동작하는지, 표 복구가 얼마나 자주 거부되는지는 이 커밋만으로 알 수 없다. 라이선스와 별점 수치도 주어지지 않았다.