dev-lee 님의 블로그

S3 데이터 레이크에 쌓인 데이터를 표준 SQL로 분석하는 서버리스 쿼리 서비스. Raw 데이터 전처리부터 이상치 탐지, 결측치 처리, CTAS 기반 ETL까지 수행 가능1. Amazon Athena 개요S3에 저장된 데이터를 표준 SQL로 직접 분석할 수 있는 서버리스 대화형 쿼리 서비스.데이터 파이프라인에서 중간~후반부에 위치하며, Raw 데이터를 가공/전처리하는 역할을 담당함.핵심 특징Presto/Trino 기반 — Meta에서 대규모 데이터 분석을 위해 만든 Presto를 기반으로 구축. 상표권 문제로 Trino가 분리되었으나 태생은 동일. Athena는 표준 SQL + Trino 문법 기반JSON 처리 강력 — json_extract(), json_extract_scalar() 등 JSON 관련..

S3 CSV를 Athena 외부 테이블로 매핑하고, result(Pass/Fail) 기준 집계 리포트를 CTAS로 Parquet 테이블로 생성하는 DAG전체 아키텍처Task1 (CREATE EXTERNAL TABLE) → Task1_2 (S3 Clean) → Task2 (DROP TABLE) → Task3 (CTAS 집계)S3에 있는 시험 결과 CSV를 Athena 테이블로 매핑하고, result(Pass/Fail) 기준으로 집계한 리포트 테이블을 Parquet 포맷으로 생성하는 구조.1. 모듈 가져오기from datetime import datetime, timedeltafrom airflow import DAGfrom airflow.providers.amazon...

오늘의 AI 뉴스 (2026년 4월 20일)1. 앤트로픽 '클로드 미토스' 파장… 백악관·글로벌 금융권 긴급 대응앤트로픽이 공개한 차세대 AI 모델 '클로드 미토스(Claude Mythos)'가 소프트웨어 취약점을 스스로 탐지하고 실제 작동 가능한 공격 코드까지 생성할 수 있는 수준에 근접했다는 평가가 나오면서, 미국 정부와 글로벌 금융권이 긴급 대응에 나섰습니다.미토스는 운영체제(OS)와 웹 브라우저 등 핵심 시스템의 구조적 결함을 탐지해 공격 가능한 형태로 구체화하는 능력을 갖춘 것으로 알려졌습니다. 보안성이 높기로 유명한 오픈소스 OS '오픈BSD'에서 수십 년간 발견되지 않았던 설계 결함을 찾아낸 것으로 전해졌으며, 박사급 난이도 문제 벤치마크에서 절반 이상의 정답률을 기록했습니다.다리오 아모데이..