2026/04/23 2

Kafka 개념 정리 + CLI 테스트

Kafka란데이터를 흘려 보내는 이벤트 파이프라인임. 프로듀서(이벤트 발송)와 컨슈머(이벤트 수신) 구조로 동작함.예시: 고객이 배민앱에서 주문(이벤트 발생) → 매장에 알림(이벤트 수신) → 점주가 주문 수락(이벤트 처리)MSA 아키텍처에서 서로 떨어진 서비스 간 비동기 통신에 활용됨공급자(Producer)와 구독자(Consumer) 포지션으로 구성됨시간 지연 없이, 용량 제한 없이 전송 가능docker-compose.yaml로 간단하게 구성 가능핵심 구성 요소 구성 역할 설명 Producer발송인데이터를 생산하고 Consumer에게 전송하는 주체. 실시간 데이터 전송/수집/처리 담당Consumer수취인Kafka의 데이터를 받아 소비하는 주체. Kafka 앞에 구성되거나 생략·내장될 수 있음Ev..

OpenSearch 개념 정리

ELK Stack 개요ELK는 Elasticsearch, Logstash, Kibana의 약자로, 실시간 대규모 로그 데이터를 수집·검색·시각화하는 오픈소스 기술 세트임.Elasticsearch (E) : 빠른 분산 검색 엔진. 분당 수억 건의 로그에서 특정 조건(예: "어제 15시에 센서 온도 250도 초과")을 1초 미만으로 검색 가능Logstash (L) : 수집된 로그에서 노이즈 제거(필터링), 전처리(정규식 등)를 수행하여 JSON/텍스트 형태로 가공 후 Elasticsearch로 전달Kibana (K) : 대시보드 시각화 → 관제/모니터링 → 실시간 보안·통제·운용·관리 등에 활용ELK/EFK에서 L은 Logstash, F는 Fluent Bit을 의미함.AWS OpenSearch란Elastic..