Deep learning Preview

What make you a good deep learner?

• Implementation Skills
• Math Skills (Linear Algebra, Probability)
• Knowing a lot of resent papers

---

definition

인공지능의 정의

• 인간을 모방 (artificial Inteligence)
• 그 방법이 데이터를 통한 것임 (Machine learning)
• 학습하는 구조가 Neural networks임 (Deep learning)

---

Key Components of deep learning

1. Data (강아지, 고양이 사진)

• 어떤 문제를 풀 것인가에 따라 다름

— Classification (강아지 고양이 분류)

— semantic segmentation (이미지의 픽셀이 어떤것인가 판단)

— detection (이미지의 영역 안에 무엇이 있는지 판단)

— pose estimation (스켈레톤 정보)

— visual Q&A (질문에 대한 답을 이미지에서 찾기)

 

2. model (강아지, 고양이 사진을 label로 바꿔주는 모델)

 

3. loss function (이 모델을 어떻게 학습할지)

• (딥러닝의 경우) neural network의 레이블 별 weight, bias 존재. weight의 parameter update 기준이 되는 loss function을 정의해야함.

— Regression Task : 출력값과 설계점 사이의 제곱을 최소화 (MSE)

— Classification Task : 출력값과 label data 사이 크로스 엔트로피(CE) 최소화

— Probabilistic Task : 출력값에 대한 평균 분산 등으로 모델링 할 때 (MLE)

 

 

 

4. Optimization algorithm (효율적으로 수행하기 위한 방법)

• 우리의 목적은 단순히 Loss function을 줄이는 것이 아닌 만큼, 다양한 방법론을 학습하여 모델이 보지못한 데이터를 잘 판단하도록 해야함.

 

---

Historical Review

출처 : Deep learning's Most Important Ideas - A brief Historicla Review (Denny Britz, 2020)

CNN 활용 첫 딥러닝 / 강화학습을 딥러닝에 적용 (알파고)

 

 

딥러닝을 학습시킬 때 사용 / 단어의 연속을 학습했을 때 (encoder) 다른 언어로 산출 (decoder) -기계번역의 트렌드 변화

 

 

네트워크를 깊게쌓을 수 있도록 / Gan 시작

 

 NLP는 language model을 학습하는데, 이 때 그냥 큰 말뭉치를 통째로 학습하여 풀고자하는 데이터에 fine tuning

 

GPT3 (많은 parameter로 되어있음 (1750억개) / 학습데이터 외 라벨링되어있지 않은 데이터를 학습에 함께 활용 - 이미지를 벡터로 잘 바꾸는 게 관건 (unsupervised 함께 활용)

 

 

 

 

* 본 포스팅은 네이버 부스트캠프 AI Tech 3기 Pre-Course 강의를 정리한 내용입니다. https://www.boostcourse.org/onlyboostcampaitech3/joinLectures/329424