Data-Warehouse

Bronze에 쌓아둔 원본 데이터를 정제하고 표준화합니다. 타입을 맞추고 컬럼명을 통일하며 중복을 제거합니다. dbt로 이 과정을 SQL 모델로 정의합니다.

Bronze에 데이터를 넣는 방법은 두 가지입니다. 전체를 덮어쓰거나 바뀐 것만 가져오는 방식입니다. 어떤 방식을 고르느냐에 따라 파이프라인 복잡도가 완전히 달라집니다.

Bronze, Silver, Gold. 데이터를 레이어별로 나눠 적재하면 무엇이 달라지는지 DuckDB와 dbt로 직접 구성해 봅니다.

코드보다 모델링이 먼저라는 게시글의 참고자료 7개를 읽고 남은 것을 정리한 글입니다. 도구가 세 번 바뀌어도 살아남은 원칙, 실무에서 쓰이는 이력 관리 구현 네 가지, 가장 늦게 드러나는 조직 부채를 다룹니다.

외부 서버 업로드 없이 웹 브라우저 자체 파싱으로 DDL 문법을 분석하여 즉시 ERD를 그려주는 로컬 실행형 시각화 도구를 소개합니다.

수퍼-서브 타입은 논리 모델에서 비즈니스 분류를 명확하게 만듭니다. 물리 모델로 넘어갈 때 세 가지 선택지가 생기며, DW에서는 그 선택이 차원 설계 전체를 바꿉니다.

같은 까마귀발인데 왜 해석이 다를까요. 점선 하나도 툴마다 다른 뜻을 가집니다. 프로젝트에서 모델을 공통 언어로 쓰려면 사용하는 도구의 표기법부터 맞춰야 합니다.

ERD가 같아 보여도 설계 철학은 완전히 다릅니다. OLTP는 트랜잭션 정합성을, DW는 분석 접근 경로를 우선합니다. 그 차이가 Unknown 레코드와 시점 데이터 같은 낯선 설계를 만듭니다.

Synapse, BigQuery, Redshift로 오면서 DW 모델링 관점이 어떻게 달라졌는지 정리합니다. Kimball, Data Vault, One Big Table의 실무 판단 기준도 함께 다룹니다.