Macro-F1 score

Confusion Matrix

Accuracy

• 모든 예측 가운데 올바른 예측의 비율
• 그러나 정확도는 예측하고자 하는 class가 균형적일 때 효과적이다.
• 가령 강아지 사진 90장과 고양이 사진 10장이 있을 때, 전부 강아지라고 예측해도 정확도는 90%가 된다.

---

F1 score

• accuracy와는 달리, 올바른 예측의 비율 뿐 아니라 오류의 종류도 함께 계산한다.
• Precision(정밀도) : 모델이 True라고 예측한 것 가운데 실제 True인 것의 비율 (질병 예측 등)
  $$ Precision = \frac{True Positive}{True Positives + False Positive} $$
• Recall(재현율) : 실제 True인 것 가운데 모델이 True라고 예측한 것의 비율 (스팸메일 분류 등)
  $$ Recall = \frac{True Positive}{True Positives + False Nagatives} $$
• precision과 recall은 trade-off 관계이다.
• F1 score는 precision과 recall의 조화평균이다.

Macro-F1 score fomula