
Vanishing Gradient Problem(기울기 소실)
·
ML_DL/딥러닝 공부하기
순전파 (forward propagation, forward pass) 입력층: x1,x2,x3 / 은닉층: h1,h2,h3 / 출력층: y h1=σ(w11x1+w21x2+w31x3+b1) h2=σ(w12x1+w22x2+w32x3+b2) h3=σ(w13x1+w23x2+w33x3+b3) y=σ(v1h1+v2h2+v3h3+b4) 손실 계산 (loss computation) MSE(Mean Squared Error), CEE(Cross Entropy Loss)와 같은 손실함수(loss function)으로 실제값과 예측값의 오차를 계산한다. 역전파 (backward propagation, backward pass) 손실함수를 통해 계산한 손실을 통해,..