dev-lee 님의 블로그

run.py + adf_direct_data_put.py 코드 분석 — 로그 생성부터 Firehose 전송까지LogGenerator로 로그를 생성하고, Amazon Data Firehose를 통해 S3로 스트리밍하는 파이프라인 구조전체 아키텍처LogGenerator (log_generator.py) ↓ run.py ←── make_log() : 로컬 테스트용 (N건 반복 생성 + 콘솔 출력) │ └──── make_one_log() : 1건 생성 + JSON 문자열 반환 ↓ adf_direct_data_put.py ↓ Firehose (put_record) ..

LogGenerator 클래스 코드 분석 — 도메인별 로그 생성기Faker와 random을 조합하여 6개 도메인의 가상 로그를 생성하는 클래스. random.choices의 가중치 확률로 현실적인 이벤트 분포를 시뮬레이션하는 구조전체 구조LogGenerator├── get_interval_time() — 로그 발생 간격 계산 (fixed / random)├── finance() — 금융 거래 로그├── ecommerce() — 이커머스 행동 로그├── iot() — IoT 센서 로그├── ott() — OTT 스트리밍 로그├── factory() — 스마트팩토리 생산 로그└── lol_game(..

Airflow S3 Producer-Consumer DAG 코드 분석 — 이벤트 기반 파이프라인Producer가 S3에 데이터를 업로드하면 Consumer가 감지하여 처리 → 삭제하는 이벤트 드리븐 파이프라인 구조전체 아키텍처[Producer DAG] [Consumer DAG]CSV 생성 → S3 업로드 ──→ S3 감시(Sensor) → 읽기/처리 → 삭제 ↑ S3: income/sensor_data.csv두 DAG가 S3의 income/sensor_data.csv 경로를 매개로 연결됨. Producer가 파일을 올리면 Consumer의 센서가 감지하여 후속 처리를 수행하는 구조.Pa..

1. 스탠포드 2026 AI 인덱스 보고서 발표 — "AI는 전력 질주 중, 우리는 아직 신발을 찾는 중"스탠포드 대학교 인간 중심 AI 연구소(HAI)가 2026년 AI 인덱스 보고서를 발표했습니다. 400페이지가 넘는 이번 보고서는 벤치마크 성능부터 투자, 대중 인식까지 AI 산업 전반을 다각도로 분석하고 있습니다.가장 눈에 띄는 대목은 프론티어 모델들의 성능 향상 속도입니다. 전문가 수준의 난이도로 유명한 벤치마크 'Humanity's Last Exam'에서 2025년 최고 모델(OpenAI o1)은 정답률 8.8%에 불과했지만, 2026년 4월 현재 Anthropic의 Claude Opus 4.6과 Google의 Gemini 3.1 Pro는 50%를 넘어섰습니다. 박사 수준의 과학 문제, 멀티모달..