DataEngineering

100만 건 엑셀 다운로드에서 OOM 없이 스트리밍 처리하는 Spring Boot 라이브러리. 어노테이션 하나로 보일러플레이트를 걷어낸다.

RAG 파이프라인에 쓸 웹 데이터를 defuddle로 뽑아봤더니 사이트 구조에 따라 결과가 크게 달랐다. 시맨틱 HTML이 무너진 사이트에서는 본문과 광고가 섞이고, 동적 렌더링 환경에서는 내용 자체가 날아간다.

PDF나 Word 파일을 LLM에 넣기 전에 표 구조와 제목 계층을 살려서 Markdown으로 바꿔주는 도구인데, 전처리 공수가 줄어드는 게 생각보다 크다.