[Deep Learning] Dropout

[Deep Learning] Dropout 앞에서 overfitting을 완화시키는 방법 중 하나인 Regularization을 알아보았다. 이번엔 또 다른 방법인 Drop-Out을 보자. regularization이 cost function에 penalty 함수를 추가하고 그 penalty 부분에 대한 조작을 통해 결과를 얻는 방식이라면, dropout은 망 자체를 변화시키는 방식이기 때문에 둘은 근본적으로 다르다. Dropout 일반적으로 신경망에서 hidden layer의 개수가 많아지면(=DNN이 되면) 학습 능력이 좋아지지만 망의 크기가 커지면 커질수록 overfitting에 빠질 가능성이 높아지고 시간도 길어진다. 이렇게 망의 크기가 커질 경우 사용할 수 있는 방법이 dropout이다. dro..