Entropy
- 불확실성
- 상자 속 10개의 공이 모두 녹색이라면 entropy는 0, 5:5의 비율로 초록과 빨강이 섞여있다면 entropy 증가
Cross-Entropy
- cross-entropy는 entropy보다 크다.
- cross-entropy는 label값이 one-hot encoding인 경우에 사용 가능하다. (ex - [0,0,1])
- binary cross-entropy는 이진분류, categorical cross-entropy는 다중 분류에서 사용한다.
'ML_DL > 딥러닝 공부하기' 카테고리의 다른 글
| [파이토치로 시작하는 딥러닝] Part-2 DNN (0) | 2023.07.02 |
|---|---|
| [파이토치로 시작하는 딥러닝] Part-1 Basic ML (0) | 2023.06.24 |
| [Preprocessing] Categorical Feature Encoding (0) | 2023.04.25 |
| Model Ensemble (0) | 2023.03.24 |
| Macro-F1 score (0) | 2023.03.21 |