[Deep Learning] 가중치 초기화 & Check Point

[Deep Learning] 가중치 초기화 & Check Point 가중치 초기화 (Initialize Weights) 초기 가중치 값은 딥러닝 학습에서 중요한 문제다. 가중치 설정을 잘못할 경우 Vanishing Gradient 등 문제를 야기할 수 있기 때문이다. 그럼 이러한 초기 가중치를 설정하는 방법들을 알아보자. Randomly # Random normal w1 = tf.Variable(tf.random_normal(shape=[784, 256])) Uniform distribution # Random uniform w2 = tf.Variable(tf.random_uniform(shape=[784, 256])) Xavier 가장 성능이 뛰어난 weight 초기화 값 # Xavier w3 = tf..