[딥러닝] 개요

		Deep Learning Neural networks
	Machine Learnng Data-driven approah
Artificial Inteligence Mimic human intelligence

 

딥러닝은 머신러닝의 한 방법으로, 인공신경망을 기반으로 심층적으로 학습하는 형태

Image/Video (Computer Vision), Text/Speech2Text(Natural Langauge Processing) 분야에서 두각을 나타내는 심층신경망

Key Components

• Data
  It depends on the type of the problem to solve
  the model learn from data
• Model
  How to transfrom data
• Loss function
  A proxy of what we want to achieve
  Regression : MSE, Classification: CE, Probabilistic: MLE
  *근사치와 정답은 다르다. 풀고자하는 문제의 관계 해석을 목적으로 접근해야 한다.
• Algorithm

 

기계학습의 판도 변화

• 2012 AlexNet
• 2013 DQN
• 2014 Encoder/Decoder, Adam Optimizer
  Adam: 웬만하면 잘 된다: 결과 복원을 위해 Adam Optimizer을 이용한다.
• 2015 GAN(Generative Adversarial Network), ResNet
  Residual Networks: layer를 여러 개 쌓으면 test 결과가 좋지 않다는 기존 패러다임의 변화
• 2017 Attention is All You Need: Transformer
• 2018 BERT
  fine-tuned NLP models
  내가 풀고자 하는 문제의 데이터가 적은 경우, 다른 데이터로 pre-training해서 풀고자 하는 문제에 적용 
• 2019 BIG Language Models(GPT-X)
• 2020 Self Supervised Learning
  한정된 학습 데이터를 다루는 기존 방법은 다양한 loss func를 적용하면서 결과를 내는 것이었다면, unsupervised data를 추가로 활용해 classification하겠다는 것

 

사용 전 고려해야 하는 상황

• 학습에 필요한 데이터셋이 많다. (오만개)
• gpu 리소스가 풍부해야 한다.

 

모델

Prediction 모델

• y값이 주어진 데이터를 바탕으로 새로운 y 값을 예측하는 모델 및 task
• Loss 최소화하는 방식으로 학습

Generative 모델

• 주어진 데이터의 x 분포를 학습하여, x와 비슷한 output을 생성하는 모델
• 두 개의 모델을 학습시켜서 실제 분포와 비슷할수록 적은 loss
• 고흐의 화풍을 적용한 그림

Reinforcement learning

• 점수 r이 최대화되는 결정 a를 선택하는 모델
• 자율 주행

 

활용 분야

CV 

이미지에서의 물체나 상황을 식별 및 판단하고 해석할 수 있도록 하는 연구 분야

• Object Detection & Localization
• Object Classification
• Object Segmentation
  Pixel 영역 분리
• Image Generation

 

NLP (Natural Language Processing)

텍스트의 구조나 이미를 파악하고 해석할 수 있도록 하는 연구 분야

• Sentiment Analysis
  문장의 특성을 분류
• Summerization
  중요한 의미를 가지는 문장 추출
• Machine Translation
  언어 번역
• Natural Language Generation
  task 에 맞는 텍스트 생성

 

Time Series Data, Signal Data

시간에 따라 변화하는 시그널 데이터를 분석하는 연구 분야

• Speech Recognition
• Signal-based anomaly detection
  공장, 발전소 위험 감지

 

Graph Data

그래프 데이터 구조나 의미를 파악하고 해석할 수 있도록 하는 연구 분야

• 관계 데이터 분석
  SNS 데이터 분석, 유저-아이템 간의 그래프 분석
• 화학 물질 물성 예측 및 최적화
  신소재 및 신약 개발