dev-lee 님의 블로그

  • 홈
  • 태그
  • 방명록

2026/04/17 1

Athena - 1 (Ahtena + Airflow)

Airflow Athena CTAS ETL DAG S3에 있는 CSV 데이터를 Athena로 조회하고, 90점 이상 학생만 필터링하여 Parquet 포맷으로 재저장하는 CTAS 기반 ETL 파이프라인전체 파이프라인 흐름[S3 Clean] → [Table Drop] → [CTAS 쿼리 실행] → [완료 감지]매 실행 시 기존 리소스를 초기화(멱등성 보장) 한 뒤, Athena의 CTAS(Create Table As Select)로 데이터를 필터링하여 Parquet 포맷으로 저장하는 구조.1. 모듈 임포트from datetime import datetime, timedeltafrom airflow import DAGfrom airflow.providers.amazon.aws.operators.athena i..

SK플래닛 ai활용 데이터엔지니어 과정 2기/Airflow 2026.04.17
이전
1
다음
더보기
프로필사진

dev-lee 님의 블로그

dev-lee 님의 블로그 입니다.

  • 분류 전체보기 (93)
    • AI 뉴스 (13)
    • SK플래닛 ai활용 데이터엔지니어 과정 2기 (75)
      • 파이썬 (13)
      • SQL (1)
      • AWS (4)
      • 쿠버네티스 (7)
      • Airflow (23)
      • 데이터 처리 (6)
      • ML & DL (18)
    • 프로그래머스 1단계 (5)
    • 가사 해석 (0)

Tag

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바