[파이토치로 시작하는 딥러닝] Part-2 DNN

Perceptron

• 인공신경망 : 사람의 뉴런을 본 따 만든 모델
• 입력값 x에 가중치 W를 곱하고 Bias를 더해 output을 만든다. (output = x*W + Bias)
• backpropagation : 모델의 가중치와 편향을 계산하는 알고리
• AND gate : 입력값 모두 1인 경우 1을 반환
• OR : 입력값 중 하나가 1이면 1을 반환
• XOR : 입력값이 다른 경우 1을 반환, 이 경우 1개의 layer로는 분류가 불가능하다 -> DNN 등장

AND, OR, XOR gate

---

ReLU

• sigmoid는 layer가 깊어질수록, 극단의 0에 가까운 값이 소멸될 수 있다. = Vanishing Gradient

---

Dropout & Batch Normalization

• overfitting : train data에서는 좋은 성능을 보이지만, test data에서 낮은 성능을 보이는 경우
• dropout은 설정한 비율 만큼의 node를 삭제하여 overfitting을 방지한다.
• model.eval()시, dropout은 False가 된다.
• gradient vanishing / exploding를 해결하기 위해, activation function, initialization, lr를 달리한다.
• batchnorm은 covariate shift(공변량 변화, train과 test의 분포가 다름)를 해결한다.