Vanishing Gradient Problem(기울기 소실)

순전파 (forward propagation, forward pass)

• 입력층: x1​,x2​,x3 / 은닉층: h1,h2,h3 / 출력층: y
• h1​=σ(w11​x1​+w21​x2​+w31​x3​+b1​)
• h2​=σ(w12​x1​+w22​x2​+w32​x3​+b2​)
• h3​=σ(w13​x1​+w23​x2​+w33​x3​+b3​)
• y=σ(v1​h1​+v2​h2​+v3​h3​+b4​)

---

손실 계산 (loss computation)

• MSE(Mean Squared Error), CEE(Cross Entropy Loss)와 같은 손실함수(loss function)으로 실제값과 예측값의 오차를 계산한다.

---

역전파 (backward propagation, backward pass)

• 손실함수를 통해 계산한 손실을 통해, 각 층의 가중치를 업데이트 한다.
• 편미분을 하여 손실이 최소가 되는 기울기를 찾는다. (chain rule)

---

Vanishing Gradient Problem

• activation function 미분값이 작아서, 입력층으로 갈수 가중치 업데이트가 이루어지지 않는 현상
• activation function을 sigmoid에서 ReLU, Leaky ReLU 등으로 바꾸어 문제를 해결한다.