TensorFlow
[Deep Learning] Regularization
[Deep Learning] Regularization Regularization에 대해 자세히 알아보려면 Overfitting이 무엇인지 알아야한다. 그럼 Overfitting과 더불어 Underfitting 까지 알아보자. Overfitting 한 data set에만 지나치게 최적화된 상태 아래 그래프처럼 학습 데이터에 대해서는 오차가 감소하지만 실제 데이터에 대해서는 오차가 증가하는 지점이 존재할 수 있다. 다시 말해 overfitting은 학습데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가할 경우 발생한다. Underfitting Underfitting 이란 모델이 너무 간단하기 때문에 학습 오류가 줄어들지 않는 것이다. 그렇다면 Overfitting을 완화시키는 방법에는 어떤것들이..
[Deep Learning] MNIST
MNIST - 손으로 쓴 숫자들로 이루어진 대형 데이터베이스. 이미지 + 이미지에 해당하는 라벨로 구성되어 있다. 여기서 라벨이란 해당 이미지가 의미하는 숫자다. - 이미지 하나당 28X28 = 784차원의 픽셀로 이루어져 있다. 각각 픽셀 하나는 0-1사이의 값인데 0에 가까우면 흰색으로 칠해서 이미지를 보여주고 1에 가까우면 검은색으로 칠한다. 이를 통해 컴퓨터가 어떤 이미지인지 인식하게 된다. 여기서 픽셀을 표현하는 벡터는 [ 0, 0, 0, 1, 0 ,... 0] -> 이와 같이 linear하게 표현된다. - 라벨은 0부터 9까지 할당된다. 라벨도 [0, 0, 1, 0,...,0] -> 이와 같이 one-hot방식으로 표현된다. MNIST data 7만개의 데이터가 있다. Training Data..