2BArtist

Sequential Model sequential data의 특성 상, 언제 그 데이터가 끝날지모른다. 몇개의 데이터가 들어올지에 상관없이 동작해야한다. 이것이 어려운 점으로 작용한다. 과거의 정보들을 고려해야하는 점이 첫 번째 어려움. Autoregressive model : 고려할 과거 정보를 특정 개수로 정해둠 Markov model (first-order autoregressice model) : 가정하기에, 내 현재는 과거에만 의존하며, 이 때 과거는 바로 전에 국한. 근데 이게 말이 안됨. 내일의 수능 공부는 전날 공부에만 의존한다 라는 뜻이기 때문. 많은 정보를 손실하게 됨. Latent autoregressive model : 히든 스테이트가 과거의 정보를 요약해 담고 있고, 이것에 의존해..

* 본 포스팅은 네이버 부스트캠프 AI Tech 3기 Pre-Course 강의를 정리한 내용입니다. https://www.boostcourse.org/onlyboostcampaitech3/joinLectures/329

용어 정리 Generalization Fitting Cross-validation train, validation, test data의 비중을 어떻게 해야하나? — cross validation (kfold validation) : train data 와 validation data를 k개로 나눠서 k-1개로 학습시키고 나머지 한개로 test hyper parameter를 지정하는 clue가 없으므로 최적의 학습법 찾아야함 Bias and Variance (둘 다 low인 게 좋음) Variance가 큰 모델은 비슷한 input이 들어와도 output이 다른것 (overfitting 될 확률 높음) Bias가 큰 모델은 분산이 작더라도 평균적으로 봤을 때 표적값에서 벗어난 것 Bootstrapping -..

Neural Networks 애매하게 사람의 뇌를 모방? 함수를 모방하는 approximator Linear Neural networks “어떻게 w와 b를 찾을까?” - backpropagation과 gradient descent/ascent update stepsize를 자동으로 바꿔주는 optimizing이 필요 - adapted learning rate 차원이 다를 때 matrix 사용 두 개의 벡터 스페이스 간의 변환 : 선형성을 가지는 변환이 있을 때, 그 변환은 항상 행렬로 표현된다. 딥러닝은 결국 neural network를 deep하게 쌓겠다는 뜻. Nonlinear function Universal approximators Hidden layer가 하나 있는 Neural network ..

What make you a good deep learner? Implementation Skills Math Skills (Linear Algebra, Probability) Knowing a lot of resent papers definition 인공지능의 정의 인간을 모방 (artificial Inteligence) 그 방법이 데이터를 통한 것임 (Machine learning) 학습하는 구조가 Neural networks임 (Deep learning) Key Components of deep learning 1. Data (강아지, 고양이 사진) 어떤 문제를 풀 것인가에 따라 다름 — Classification (강아지 고양이 분류) — semantic segmentation (이미지의 픽셀이 ..