dev-lee 님의 블로그

1. 개요트랜스포머 기반 사전 학습 모델을 가져와서 별도 학습 없이 그대로 사용하는 제로샷 러닝(Zero-shot Learning) 방식으로 한국어 문장 생성을 실습함. 업스트림은 GPT2 다국어 모델, 다운스트림은 SKT가 한국어로 파인튜닝한 KoGPT2를 사용한다.1.1 핵심 개념업스트림 모델(Upstream) — GPT2, 다국어 기준 문장 생성 모델다운스트림 모델(Downstream) — skt/kogpt2-base-v2, 한국어에 최적화되게 파인튜닝된 모델제로샷 러닝(Zero-shot Learning) — 추가 학습 없이 사전 학습된 모델을 그대로 사용파인튜닝(Fine-tuning) — 사전 학습 모델에 특정 도메인 데이터를 추가 학습시켜 성능 향상1.2 문장 생성 절차1. 프롬프트 제시 — 단..

1. 학습 목표NLP 처리 과정 전반을 코드로 직접 다루며 토큰화 워크플로우를 이해하고, 이를 활용해 유사도 기반 챗봇 프로토타입을 구성하는 것이 목표임. LLM API 내부에서 일어나는 토큰화 흐름을 직접 구현해보는 데 의의가 있다.1.1 다루는 범위토큰화 워크플로우 — 분절화 → 사전화 → 벡터화 → 패딩 → 임베딩유사도 기반 검색 — 코사인 유사도로 가장 가까운 질문 찾기챗봇 프로토타입 — Gradio로 시뮬레이션, SBERT로 토크나이저 교체 비교1.2 챗봇 동작 흐름사용자 질문 입력 — 자연어 텍스트질문 토큰화 — 벡터로 변환유사도 검사 — 사전 구축된 챗봇 시트 질문 벡터들과 비교매칭 답변 반환 — 거리가 가장 가까운 질문에 페어로 묶인 답변 응답NLP 워크플로우는 결국 "자연어를 숫자로 바꿔..

1. 배경훈 부총리 "국방·안보엔 외산 AI 어렵다…자체 모델 필요"배경훈 부총리 겸 과학기술정보통신부 장관이 26일 미국 경제매체 CNBC와의 인터뷰에서 한국의 AI 전략 방향성을 제시했습니다. 핵심은 국방·안보 영역에 외산 AI를 그대로 적용하기 어렵다는 점, 그리고 자체적으로 통제 가능한 모델이 필요하다는 점입니다.배 부총리는 자체 AI를 정부가 직접 만들어야 하는지, 기업이 만들어야 하는지에 대한 질문에 "한국의 답은 둘 다"라고 답변했습니다. 정부 주도와 민간 주도가 병행되어야 한다는 의미로 풀이됩니다.산업 전략 측면에서는 한국이 강점을 가진 제조업과 반도체 생태계를 AI 전환의 기반으로 삼겠다는 구상도 밝혔습니다. AI 수요 폭발로 메모리 반도체 수요가 늘고 있는 가운데, 한국은 삼성전자·SK..

1. NLP 개요NLP(Natural Language Processing, 자연어 처리)는 컴퓨터가 인간의 언어를 이해·해석·조작·생성하도록 만드는 인공지능 분야임. 데이터 자체가 자연어이며, 텍스트의 이해·의도·감정·맥락을 파악하고 적절히 응답하는 것이 목표.1.1 핵심 과제이해(Understanding) — 텍스트의 의미, 의도, 감정, 맥락 파악반응(Reaction) — 파악한 정보를 기반으로 적절한 응답 생성데이터 특성 — 토큰(단어/어절) 단위의 시퀀스 데이터NLP의 본질은 "순서가 있는 데이터"를 다룬다는 점임. 단어 하나만 보면 의미가 없고, 앞뒤 단어와의 관계(맥락) 속에서만 의미가 성립함. 이 특성이 일반 DNN과 다른 별도 신경망 구조를 요구함.2. 순환신경망의 기본 개념RNN(Recu..

1. CNN 개요CNN(Convolutional Neural Network, 합성곱 신경망)은 사람·동물의 눈이 사물을 인지하는 절차를 차용한 인공신경망 구조임. 이미지·영상 데이터의 인지·분류·탐지에 적합한 모델이며, 비전 계열 신경망의 출발점이 됨.1.1 발전 흐름1989 — 첫 CNN 논문 발표2006 — CNN 명칭 적용, 일반화 논문 발표2012 — CNN 기반 모델이 이미지넷 경연대회에 출품, 딥러닝 패러다임 전환의 결정적 계기1.2 CNN의 두 가지 핵심 관점이미지 관점 — 이미지 내의 공간 정보·인접 정보를 특징으로 추출하여 학습데이터 관점 — 특정 크기의 이미지 데이터로 시작해서 신경망 내부에서 점차 축소하면서 "같은 의미"임을 학습CNN은 결국 "큰 이미지 → 작은 이미지 → 더 작은 ..

1. 전이학습 개요전이학습(Transfer Learning)은 처음부터 학습하지 않고 사전에 학습된 모델의 지식을 재사용하여 새로운 과제를 해결하는 방법임. 트랜스포머 계열 모델은 반드시 지원해야 하는 기능이며, 다른 목적으로 만들어진 모델을 또 다른 목적으로 빠르게 적용할 수 있음.1.1 핵심 아이디어지식의 재사용·전이 — 이미 학습된 가중치를 활용하여 처음부터 학습하지 않음속도 + 비용 절감 — 대규모 데이터로 사전 학습된 결과를 그대로 가져옴유전 개념 — 과거 세대의 학습 결과를 미래 세대(새 모델)에 전달라마(LLaMA) 같은 LLM이 오픈소스로 공개되고, 허깅페이스에 수많은 모델이 올라오는 흐름의 기술적 근거가 바로 전이학습임. 사전 학습된 백본 없이는 현대 AI 생태계가 성립하지 않음.2. 핵..

1. 딥러닝 개요딥러닝은 인공신경망을 깊게 쌓아 데이터의 복잡한 패턴을 학습하는 머신러닝의 한 분야임. 회귀의 수식 `y = w1x1 + w2x2 + ... + wnxn + bias`가 그대로 퍼셉트론으로 확장된 것이 출발점이며, 층(layer)을 깊게 쌓아 표현력을 확보하는 방식으로 발전함.1.1 의사결정 과정과 퍼셉트론배경 비유 — 맥북프로 M5 구매 결정 시 검토 요소(필요성, 노트북 성능, 프로젝트 부합, 예산 등)들이 동등하지 않음가중치 개념 — 더 중요한 요소와 덜 중요한 요소가 존재 → 가중치(파라미터)로 조정수식 표현 — y = w1x1 + w2x2 + ... + wnxn + bias > 임계값 → 구매/비구매 결정학습의 정의 — 최적의 bias, w1, w2, ..., wn 값을 찾아가는..

1. 회귀 개념회귀는 자연현상이나 사회현상에서 변수들 사이의 관계를 수식으로 모델링하는 방법임. 종속변수가 **연속형 수치**일 때 사용하며, 학습의 목적은 **오차를 최소화하는 파라미터를 찾는 것**임.1.1 데이터 구성독립변수(피처) — 영향을 주는 변수, x로 표기종속변수(레이블) — 영향을 받는 변수, y로 표기출력 데이터 타입 — 수치형 > 연속형1.2 모델링 원칙학습을 통해 독립변수와 종속변수 간의 관계식을 구성함결과물은 모델이며, 해당 모델로 예측을 수행함예측은 어느 정도의 오차를 동반하므로 오차 최소화가 핵심 목표임학습이란 결국 오차값이 최소가 되는 알고리즘 내의 파라미터값을 찾아가는 과정임. 이 원칙은 단순 회귀든 다중 회귀든 동일하게 적용됨.2. 회귀의 종류2.1 단순 선형 회귀구조 —..

1. 연구 목표 수립번역 앱(파파고, 구글번역, 카카오번역 등)에서 사용되는 입력 언어 감지 모델을 직접 구축해보는 것이 목표임. 단, 한국어·중국어·일본어처럼 UTF-8 코드 범위로 단순히 구분 가능한 언어가 아니라 알파벳을 공유하는 언어들을 다룸.1.1 문제 정의대상 언어 — 영어(en), 프랑스어(fr), 인도네시아어(id), 타갈로그어(tl)제한 조건 — a~z 알파벳을 공통으로 사용하는 언어로 한정핵심 가설 — "알파벳을 공유하더라도 문자 사용 빈도는 언어별로 상이하다"사람의 인지로는 미세한 차이를 구분하기 어려움 → ML로 해결1.2 학습 설계태스크 유형 — 머신러닝 / 지도학습 / 다중 분류(정답 4개)데이터 형태 — (n, 26 + 1) 구조피처(독립변수) — a 빈도, b 빈도, …, z..

1. 머신러닝 개요인공지능(AI) 분야 중 ML은 DL → LLM → Agent로 이어지는 흐름의 시작점입니다. 기계 학습은 공식 같은 절차가 존재합니다. 데이터를 보고 학습법을 선택해 절차적으로 진행(ETL)하고, 피처 엔지니어링을 수행한 뒤 모델 학습(알고리즘 선택 → 학습 → 평가 → 최적화 → 반복)을 거쳐 최종 산출물인 모델을 덤프하고, 그 결과물을 통해 모델 서빙(엔드포인트 구성)을 진행합니다.AWS SageMaker — ML/DL 모두 지원하는 AI 서비스(초고가). 노코드(Canvas), 코드(Jupyter Notebook) 환경 제공MLOps — 모델 이력 관리, 업그레이드 등을 담당. 대표적으로 MLFlow, Kubeflow1.1 모델별 특징ML — 인간이 개발한 알고리즘을 학습DL —..