Vanishing Gradient Problem(기울기 소실)
·
ML_DL/딥러닝 공부하기
순전파 (forward propagation, forward pass) 입력층: x1​,x2​,x3 / 은닉층: h1,h2,h3 / 출력층: y h1​=σ(w11​x1​+w21​x2​+w31​x3​+b1​) h2​=σ(w12​x1​+w22​x2​+w32​x3​+b2​) h3​=σ(w13​x1​+w23​x2​+w33​x3​+b3​) y=σ(v1​h1​+v2​h2​+v3​h3​+b4​) 손실 계산 (loss computation) MSE(Mean Squared Error), CEE(Cross Entropy Loss)와 같은 손실함수(loss function)으로 실제값과 예측값의 오차를 계산한다. 역전파 (backward propagation, backward pass) 손실함수를 통해 계산한 손실을 통해,..