[Deep Learning] 손실 함수(Cost function)

[Deep Learning] 손실 함수(Cost function)

 

손실 함수(Cost function)란 가중치 W와 편향 b가 entire training set에서 얼마나 잘 맞는지, 일치하는지 측정하는 함수이다. Loss function과 비슷하지만 Cost function 은 entire data set을 대상으로 하고 Loss function은 single data set을 다룬다는 점에서 차이가 있다. 

손실 함수에는 여러 종류가 있다.

 

1. tf.squre로 거리의 제곱을 손실함수로 적용

 

cost = tf.reduce_mean(tf.square(y - model))

 

2. tensorflow가 기본 제공하는 cross entropy 함수를 손실함수로 적용

자세히 보기 : [Deep Learning] Cross-entropy

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=model, labels=y))

 

3. logistic regression loss

cost = -tf.reduce_mean(y*tf.log(output) + (1 - y)*tf.log(1 - output))