[Deep Learning] Optimizer

[Deep Learning] Optimizer Optimizer란 loss function을 통해 구한 차이를 사용해 기울기를 구하고 Network의 parameter(W, b)를 학습에 어떻게 반영할 것인지를 결정하는 방법이다. 위의 많은 종료의 optimizer중에 몇가지만 자세히 알아보자. Gradient Descent(GD) 1회의 학습 step시에, 현재 모델의 모든 data에 대해서 예측 값에 대한 loss 미분을 learning rate만큼 보정해서 반영하는 방법. gradient의 반대 방향으로 일정 크기만큼 이동해내는 것을 반복하여 Loss function의 값을 최소화하는 θ의 값을 찾는다. optimizer = tf.train.GradientDescentOptimizer(learnin..