Bias와 Variance

Bias란?

• 편향이라는 뜻의 Bias는 (실제값 - 예측값)의 평균이다.
• $[\hat{f}(x)] = E[\hat{f}(x) - f(x)]$

Variance란?

• 분산이라는 뜻의 variance는 예측값의 변화 정도이다.
• $Var[\hat{f}(x)]=E[(\hat{f}(x)−E[\hat{f}(x)])^2]=E[\hat{f}(x)^2]−E[\hat{f}(x)]^2$

---

Bias와 Variance의 관계

출처 - https://nvsyashwanth.github.io/machinelearningmaster/bias-variance/

 

• low bias & low variance : 예측값이 정답에 가깝고(편향 낮음) 그 값들이 모여있다(분산 낮음).
• low bias & high variance : 예측값이 정답에 가깝고(편향 낮음) 그 값들이 퍼져있다(분산 높음).
• high bias & low variance : 예측값이 정답과 멀고(편향 높음) 그 값들이 모여있다(분산 낮음).
• high bias & high variance : 예측값이 정답과 멀고(편향 높음) 그 값들이 퍼져있다(분산 높음).

---

High Bias, High Variance 해결 방법

• High Bias
  
  • Feature의 수를 늘린다. (큰 network 사.)
  • regularization parameter의 $\lambda$를 증가시킨다.
  • Train 시간을 늘린다.
• High Variance
  • Training data의 수를 늘린다. (데이터 증강)
  • regularization parameter의 $\lambda$를 감소시킨다.