dev-lee 님의 블로그

Airflow 멀티 DAG 구성 - Load 단계 코드 분석멀티 DAG ETL 파이프라인의 마지막 단계인 Load(적재)를 배움. Transform DAG에서 트리거를 받아 실행되며, 전처리된 CSV 데이터를 MySQL에 적재하는 구조.전체 구조Transform DAG가 전처리된 센서 데이터를 CSV로 저장하고 이 DAG를 트리거 → 이 DAG에서 테이블 생성 후 CSV를 읽어 MySQL에 INSERT하는 흐름. Transform DAG와 마찬가지로 자체 스케줄 없이 트리거로만 실행됨.1. 모듈 가져오기from datetime import datetime, timedeltafrom airflow import DAGfrom airflow.operators.python import PythonOperator..

Airflow 멀티 DAG 구성 - Transform 단계 코드 분석멀티 DAG ETL 파이프라인의 두 번째 단계인 Transform(전처리)을 배웠다. Extract DAG에서 트리거를 받아 실행되고, 데이터를 전처리한 뒤 다시 Load DAG를 트리거하는 구조.전체 구조Extract DAG가 센서 데이터를 JSON으로 저장하고 이 DAG를 트리거 → 이 DAG에서 JSON을 읽어 전처리 후 CSV로 저장 → Load DAG를 트리거하는 흐름. 이 DAG는 직접 스케줄링되지 않고, 앞 단계 DAG의 트리거로만 실행됨.1. 모듈 가져오기from datetime import datetime, timedeltafrom airflow import DAGfrom airflow.operators.python im..

Airflow 멀티 DAG 구성 - Extract 단계 코드 분석이번 글에서는 Airflow에서 하나의 DAG가 다른 DAG를 트리거하는 멀티 DAG 구조를 살펴봅니다. ETL 파이프라인 중 Extract(추출) 단계를 담당하는 DAG 코드를 하나하나 뜯어보겠습니다.전체 구조이 코드의 핵심은 데이터를 추출한 뒤, 다음 단계인 Transform DAG를 자동으로 실행시키는 것입니다. ETL을 하나의 DAG에 넣을 수도 있지만, 규모가 커지면 단계별로 DAG를 분리하는 것이 관리와 재사용 측면에서 유리합니다. DAG 간 연결에는 TriggerDagRunOperator를 사용합니다.1. 모듈 가져오기from datetime import datetime, timedeltafrom airflow import DA..

1. Anthropic, 사이버보안 특화 AI 모델 'Claude Mythos Preview' 공개 및 Project Glasswing 출범Anthropic이 새로운 범용 언어 모델 'Claude Mythos Preview'를 제한적으로 공개하였습니다. 이 모델은 일반적인 벤치마크에서도 최고 수준의 성능을 기록하였으나, 특히 사이버보안 영역에서 전례 없는 능력을 보여주어 업계에 큰 파장을 일으키고 있습니다.Anthropic 측에 따르면, Mythos Preview는 지난 수 주간 모든 주요 운영체제와 주요 웹 브라우저를 포함한 다양한 소프트웨어에서 수천 건의 제로데이 취약점을 발견하였습니다. 그중에는 27년간 발견되지 않았던 OpenBSD의 원격 크래시 취약점, 16년 된 FFmpeg 영상 소프트웨어의 ..

ETL airflow 설정 수정 및 재설치Airflow 조정시간대 조절대한민국 / 서울 시간대로 조정docker-compose.yaml x-airflow-common: &airflow-common ... environment: &airflow-common-env # 대한민국/서울 시간대로 조정 TZ: 'Asia/Seoul' AIRFLOW__WEB_SERVER__DEFAULT_UI_TIMEZONE: 'Asia/Seoul'docker compose 상에 서비스로 mysql 추가_PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:-} -> _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP..

01. OpenAI, 100만 토큰 컨텍스트 탑재한 GPT-5.4 공개OpenAI가 3월 5일 최신 플래그십 모델 GPT-5.4를 공식 발표했습니다. 가장 큰 변화는 API와 Codex에서 최대 100만 토큰의 컨텍스트 윈도우를 지원한다는 점입니다. 이는 약 75만 단어, 해리포터 시리즈 7권 전체를 한 번에 프롬프트에 넣을 수 있는 분량에 해당합니다.GPT-5.4는 단순한 모델 업데이트가 아닙니다. OpenAI의 범용 모델 중 최초로 네이티브 컴퓨터 사용(Computer Use) 기능을 탑재했습니다. 브라우저를 제어하고, 데스크톱 애플리케이션을 조작하며, 복잡한 다단계 워크플로우를 자율적으로 실행할 수 있습니다. 컴퓨터 사용 능력을 측정하는 OSWorld 벤치마크에서 75%를 기록하며 인간 기준선(72..

03_basics_context_jinja.py 목적airflow 내부에서 관리하는 context 정보 접근airflow.macro를 이요하여 context 내 주요 시간정보, 시간 차, 랜덤 등등 활용 가능 + jinja 결합접근 시 jinja 템플릿 활용jinja 템플릿 :https://jinja.palletsprojects.com/en/stable/표현{{ }}, {% %}, 탭, 들여쓰기파이썬 기반 웹프로그램(flask, django, fastapi)에서 SSR(서버 사이드 랜더링) 처리 시 사용하는 엔진코랩, jupyter, notebook 등 flask로 구성했고 화면은 jinja 템플릿으로 만들었음.(CSR, SSR 복합적임)AI에서 프롬프트 엔지니어링 -> 컨텍스트 엔지니어링 -> 하네스..

AI 직무 관점에서 DE 데이터 엔지니어의 기본 역량, 세부 내용 등등 차주에 진행(참고) 개요 정의워크플로우 오케스트레이션지휘자는 직접 작업을 수행하지 않는다. : 지시만 함실질직인 작업(수집, 추출, 전처리, 적재, ...)은 DAG 파트가 담당airflow는 실질적인(DAG) 일을 명령하는 관리자 역할-> airflow를 깔아야 일을 할 수 있음, DAG가 있어야 작업이 진행됨 기존 작업 관리자와의 차이점자동화 : 윈도우 작업 스케쥴러, 리눅스 cron 등 활용특정 시간에 특정 업무를 처리하게끔 함위 내용을 등록하여 처리단점앞선 작업의 성공/실패 여부에 따른 분기 처리 등에 대한 유동적인 처리가 불가능하거나 어려움.airflowairflow는 상황 조치가 가능함. : 프로그램 가능 도입 이유의..

1. OpenAI, 기업가치 8,520억 달러 달성 — ChatGPT 슈퍼앱 전략과 IPO 추진OpenAI가 2026년 초 대규모 펀딩 라운드를 성공적으로 마무리하며 기업가치 8,520억 달러(약 1,200조 원)를 달성했습니다. SoftBank, Andreessen Horowitz, Fidelity 등 글로벌 대형 투자자들이 참여한 이번 라운드의 총 규모는 1,220억 달러에 달하며, AI 업계 역사상 최대 규모의 단일 펀딩으로 기록되었습니다. 이와 함께 OpenAI는 ChatGPT를 단순한 챗봇에서 벗어나 채팅, 코딩, 검색, 에이전트 기능을 하나의 인터페이스로 통합한 '슈퍼앱'으로 재편하겠다는 전략을 공개했습니다. 현재 ChatGPT의 주간 활성 사용자 수는 9억 명에 달하며, 기업 고객 매출도 빠..

GIST, 말로 설명하면 로봇이 찾아내는 AI 기술 개발광주과학기술원(GIST) AI융합학과 김의환 교수 연구팀이 사람이 문장으로 설명한 물체를 3D 공간 속에서 이해하고 정확히 찾아내는 AI 로봇 내비게이션 기술 'Context-Nav' 을 개발했습니다.핵심 기술 내용이 기술은 물체의 색·모양 같은 물리적 특징뿐 아니라, 다른 사물과의 상대적 위치 관계까지 함께 분석합니다. 예를 들어 "거실 소파 옆 테이블 위에 있는 빨간 책을 찾아줘"라고 말하면, 로봇이 이 문장을 단순한 물체 정보가 아닌 3차원 공간 속 위치 정보로 해석해 탐색합니다.작동 방식RGB 카메라와 깊이 센서로 주변 환경을 인식한 뒤, 설명과 일치할 가능성이 높은 영역을 실시간으로 확인합니다. 후보 공간의 적합도를 계산해 '가치지도(Val..