dev-lee 님의 블로그

Silver 데이터를 집계/요약하여 경영진/실무자가 바로 의사결정에 활용할 수 있는 최종 데이터셋을 구성하는 레이어Gold Layer 목표대시보드/보고서 — 의사결정을 즉시 수행할 수 있는 요약 데이터AI - ML/DL — 모델 학습에 바로 적용 가능한 데이터AI - LLM/RAG — 벡터 DB 삽입, 검색증강생성(RAG) 등에 활용할 수 있는 수준의 데이터상황에 따라 메달리온 아키텍처의 단계를 단축할 수 있음.Gold 테이블 구성 방식 — 고정 테이블 vs 뷰고정 테이블 (CTAS / INSERT INTO)물리적으로 테이블을 구성하는 방식. 장점 단점 데이터가 이미 계산되어 저장됨 → 조회 속도 빠름테이블 생성 이후 추가되는 데이터 미반영, (테이블 생성 이후 추가되는 데이터를 테이블은 모름)대시보드..

Airflow DAG + Athena SQL로 Bronze의 중첩 데이터를 Flatten/정제하여 Silver 테이블에 적재하는 두 가지 방식 — CTAS(전체 교체)와 증분(누적 INSERT)CTAS 기반 DAG — 11_aws_ma_silver.py매 실행마다 Silver 테이블을 삭제 후 CTAS로 재생성하여, 항상 최신 스냅샷 상태를 유지하는 방식.전체 구조DAG: 11_medallion_bronze_to_silver_ctas 스케줄: 10 * * * * (매시 10분) ├─ Task 1: drop_silver_tbl → Silver 테이블 DROP └─ Task 2: ctas_silver → CTAS로 Bronze SELECT → Silver 테이블 생성 ..

Bronze Layer의 복잡한 중첩 구조/지저분한 데이터를 Flatten하여 타입을 맞추고, 분석하기 좋은 원재료 형태로 가공하는 레이어전체 흐름Bronze S3 (Parquet) ↓Athena 외부 테이블 (raw_bronze_tbl) ↓ SELECT + FlattenSilver 테이블 (CTAS or INSERT) ↓Silver S3 적재Airflow DAG가 Bronze 완료 시점 이후 스케줄로 Athena SQL을 실행하여, Bronze 데이터를 정제 후 Silver 테이블/S3에 기록하는 구조.1. Bronze 외부 테이블 구성Silver 작업 전 선행 조건 — Bronze S3 데이터를 Athena에서 조회할 수 있는 테이블이 필요함.기존 bronze_tbl 문제점Fireh..