PDF·Word 문서와 HTML, 이미지를 의미 있는 요소로 분해해 구조화된 텍스트로 바꾸는 오픈 소스 ETL 라이브러리 unstructured-io/unstructured의 0.27.32 릴리스와, 이 기록에 없는 변경 목록과 성능 근거를 다룬 글.
GitHub 설명: Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.
unstructured-io/unstructured는 PDF, Word 문서, HTML, 이미지 같은 비정형 데이터를 의미 있는 요소로 분해해 구조화된 텍스트로 바꾸는 오픈 소스 라이브러리다. GitHub의 최신 릴리스는 0.27.32이며, 이 릴리스에서 바뀐 항목은 이 기록에 없다.
이 라이브러리가 하는 일은 문서를 통째로 읽는 대신 요소 단위로 쪼개 언어 모델에 넣을 데이터로 정리하는 것이다. README는 이미지와 PDF, HTML, Word 문서 같은 비정형 데이터를 수집·전처리해 LLM 데이터 처리 워크플로를 단순화한다고 설명한다. 모듈형 함수와 커넥터를 제공해 다양한 플랫폼에서 비정형 데이터를 구조화된 결과로 효율적으로 변환하도록 돕는다. 저장소는 이 목적을 ETL(추출·변환·적재) 라이브러리로 설명한다. 라이선스는 Apache-2.0이고 GitHub 스타는 15583개다. 저장소 생성일은 2022년 9월 26일이다. 분해된 결과는 RAG 수집에 쓰인다.
다만 이 기록에는 0.27.32의 변경 목록도 처리 성능을 비교한 수치도 없다. 기록에 남은 수치는 모멘트(momentum) 점수 3.3(10점 만점)뿐이라 낮게 읽히고, 기술·품질·참신성 점수는 비어 있다. 저장소 설명은 파티셔닝과 보강, 청킹, 임베딩을 다루는 기업용 플랫폼 제품을 함께 안내하지만, 이 라이브러리가 어디까지 제공하는지는 이 기록으로 확인할 수 없다. 근거가 얕으니 지금은 RAG 앞단의 문서 전처리 후보로 짚어두는 편이 맞다.