Cross entropy
[Deep Learning] 손실 함수(Cost function)
[Deep Learning] 손실 함수(Cost function) 손실 함수(Cost function)란 가중치 W와 편향 b가 entire training set에서 얼마나 잘 맞는지, 일치하는지 측정하는 함수이다. Loss function과 비슷하지만 Cost function 은 entire data set을 대상으로 하고 Loss function은 single data set을 다룬다는 점에서 차이가 있다. 손실 함수에는 여러 종류가 있다. 1. tf.squre로 거리의 제곱을 손실함수로 적용 cost = tf.reduce_mean(tf.square(y - model)) 2. tensorflow가 기본 제공하는 cross entropy 함수를 손실함수로 적용 자세히 보기 : [Deep Learnin..
[Deep Learning] Cross-entropy
Entropy 란 확률적으로 발생하는 사건에 대한 정보량의 평균을 의미한다. 정보량은 식으로 나타내면 인데 이것은 놀람의 정도를 말한다. 사건의 발생확률이 낮을수록 놀람의 정도는 커진다. 즉 높은 정보량을 갖고 있음을 의미한다. 여기서 로그 함수를 취하는 이유는 놀람의 정도를 표현하는데 최소한의 자원을 나타낼 수 있기 때문이다. Cross-entropy는 두개의 확률 분포 p와 q에 대해서 하나의 사건 X가 갖는 정보량을 의미한다. 다시 말하면 q에 대한 정보량을 p에 대해서 평균 낸 것을 말하는데 식으로 나타내면 이다. Cross-entropy는 손실함수를 정의하는데 사용되곤 한다. 이때 p는 true probability로써 true label에 대한 분포를, q는 현재 예측모델의 추정값에 대한 분포..