dev-lee 님의 블로그

2026-05-13 AI 뉴스 정리1. 구글, 스페이스X와 손잡고 'AI 데이터센터를 우주로' 보낸다구글이 일론 머스크의 스페이스X와 궤도 데이터센터 발사를 위한 협의를 진행 중이라는 사실이 공식 확인되었습니다. 알파벳 산하 구글은 5월 12일 자사의 'Project Suncatcher(프로젝트 선캐처)' 궤도 데이터센터 프로젝트와 관련해 스페이스X 및 기타 발사 업체들과 향후 발사에 대해 논의 중이라고 밝혔습니다.Project Suncatcher는 단순한 연구 단계 아이디어가 아니라 이미 구체적인 기술 검증 단계에 진입한 프로젝트입니다. 이 프로젝트는 태양광으로 구동되는 위성에 구글의 자체 TPU(Tensor Processing Unit) AI 가속 칩을 탑재해 궤도 상에서 머신러닝 클라우드를 구축하는..

1. 개요1.1 중규모 데이터 처리 담당처리 규모 — 중규모 데이터에 적합, 최대 수 GB까지 처리 가능메모리 방식 — 단일 머신 메모리에 데이터를 한 번에 로드1.2 pandas란공식 정의 — fast, powerful, flexible and easy to use open source data analysis and manipulation tool포지션 — Python Data Analysis LibraryR과의 대응 — R ↔ pandas(분석) + sklearn(ML) + statsmodels(통계) + matplotlib(시각화)기반 — numpy를 근간으로 데이터 처리 수행데이터를 사용하는 주체에 따라 전처리 방향이 달라짐 — 데이터 분석용(정제)이냐, 모델 학습용(피처 엔지니어링 → Gold..

1. 데이터 처리 / 준비 / Transform데이터 품질을 향상시키기 위해 도메인과 최종 산출물에 적합한 형태로 데이터를 가공하는 단계. 데이터의 형태, 규모, 싱글/분산, 메모리 환경 등에 따라 적절한 도구를 선택해야 함.1.1 도구 별 특징 라이브러리 특징 베이스 언어 데이터 규모 numpyndarray(다차원배열) 중심 수치 계산, 데이터 분석/처리의 근간C 기반 연산소~중규모pandasSeries(1D), DataFrame(2D) 자료구조. 파이썬 데이터 분석 표준. 데이터를 한 번에 메모리에 로드Python + Cython + C (Single Core)중규모 (~ 수 GB)polarsDataFrame, 지연처리 기반 최적화, 스트리밍/병렬처리 집중Rust / Apache Arrow대규..