표의 행과 열, 그림의 축과 범례, 수식은 텍스트만 추출하면 서로의 관계가 끊어집니다. RAG-Anything 소개 글 은 텍스트·이미지·표·수식을 한 파이프라인에서 처리하는 HKUDS의 멀티모달 RAG를 설명합니다. LightRAG를 바탕으로 문서의 비텍스트 요소까지 검색 대상으로 삼습니다.

문서의 구조를 그래프에 남깁니다

PDF나 Office 문서를 파싱해 텍스트, 이미지, 표, 수식을 나눈 뒤 각각의 검색용 설명과 엔티티 요약을 만듭니다. 크로스 모달 그래프와 텍스트 그래프는 엔티티를 기준으로 합칩니다. 질문이 표나 그림을 가리키면 해당 구조의 관계와 의미 유사도를 함께 이용해 후보를 찾습니다. 답변을 만들 때는 검색용 텍스트 설명뿐 아니라 원본 시각 자료도 비전 언어 모델에 넘깁니다.

이 방식은 재무 표에서 특정 연도와 항목이 만나는 셀을 찾거나 여러 패널이 있는 그림에서 축과 범례를 구분할 때 의미가 있습니다. 표를 한 줄의 텍스트로 펼쳐 놓으면 사라지는 위치 관계를 그래프에 남기기 때문입니다.

평가 결과와 남은 제약

소개 글이 인용한 실험에서 전체 정확도는 DocBench 63.4%, MMLongBench 42.8%였습니다. 같은 설정에서 LightRAG의 전체 점수는 각각 58.4%, 38.9%였습니다. 이 수치는 해당 문서 QA 평가의 결과입니다. 일반적인 RAG 작업 전체에 적용되는 성능 보장은 아닙니다.

긴 문서에서 차이가 커졌지만 한계도 있습니다. 시각 자료가 필요한 질문에 텍스트 검색 결과를 지나치게 선호할 수 있고, 셀 병합이나 비표준 열 경계가 있는 표에서는 공간 구조를 잘못 해석할 수 있습니다. 도입할 때는 실제 문서의 레이아웃과 질문으로 별도 평가해야 합니다.

요약

  • 텍스트·이미지·표·수식의 관계를 그래프로 묶어 함께 검색합니다.
  • 검색에는 텍스트 설명을 쓰고 답변 합성에는 원본 시각 자료를 다시 활용합니다.
  • 벤치마크의 개선 폭과 함께 복잡한 표 레이아웃에서 생기는 오류도 확인해야 합니다.