dev-lee 님의 블로그

멀티프로세싱으로 점포(store-01 ~ store-N)별 독립 프로세스를 생성하여, 각 점포의 매출 로그를 Kinesis Data Streams로 실시간 전송하는 데이터 생성기아래 코드를 통해 키네시스로 데이터를 보낸 후 AWS 콘솔에서 Firehose와 연결하여 S3에 적재하는 과정을 거침.전체 구조main (부모 프로세스) ├─ Process-0: run_producer(store-01) → gen_data → send_to_kinesis → 무한루프 ├─ Process-1: run_producer(store-02) → gen_data → send_to_kinesis → 무한루프 ├─ Process-2: run_producer(store-03) → gen_data → send_to_kinesi..

데이터 레이크의 표준 데이터 품질 관리 패턴. Raw Data(Bronze) → 정제(Silver) → 비즈니스 분석(Gold) 3단계로 데이터를 단계적으로 가공하여 품질과 활용도를 높이는 구조1. Medallion Architecture 개요데이터 레이크에서 데이터의 품질을 단계적으로 관리하는 표준 패턴.단계 의미 뉘앙스Bronze원천 데이터(원본) 적재무슨 일이 일어났는가?Silver정제/표준화된 데이터누가, 언제, 무엇을 구매했는가?Gold비즈니스/분석용 집계 데이터이번 시간 매출은 얼마인가?2. 각 단계별 데이터 변화 형태2.1 Bronze 단계 (Raw Data)원본(오리지널) 데이터의 형태를 보존하는 단계.파이프라인: 데이터 생성기(발생) → Kinesis → Firehose → S3데이터 형..