[Loss Function] Cross Entropy

2023. 4. 30. 15:25·ML_DL/딥러닝 공부하기
728x90
반응형

Entropy

  • 불확실성
  • 상자 속 10개의 공이 모두 녹색이라면 entropy는 0, 5:5의 비율로 초록과 빨강이 섞여있다면 entropy 증가

Entropy


Cross-Entropy

cross-entropy

  • cross-entropy는 entropy보다 크다.
  • cross-entropy는 label값이 one-hot encoding인 경우에 사용 가능하다. (ex - [0,0,1])
  • binary cross-entropy는 이진분류, categorical cross-entropy는 다중 분류에서 사용한다.
저작자표시

'ML_DL > 딥러닝 공부하기' 카테고리의 다른 글

[파이토치로 시작하는 딥러닝] Part-2 DNN  (0) 2023.07.02
[파이토치로 시작하는 딥러닝] Part-1 Basic ML  (0) 2023.06.24
[Preprocessing] Categorical Feature Encoding  (1) 2023.04.25
Model Ensemble  (0) 2023.03.24
Macro-F1 score  (0) 2023.03.21
'ML_DL/딥러닝 공부하기' 카테고리의 다른 글
  • [파이토치로 시작하는 딥러닝] Part-2 DNN
  • [파이토치로 시작하는 딥러닝] Part-1 Basic ML
  • [Preprocessing] Categorical Feature Encoding
  • Model Ensemble
swwho
swwho
일상을 데이터화하다
  • swwho
    하루한장
    swwho
  • 전체
    오늘
    어제
    • 분류 전체보기 (188)
      • ML_DL (39)
        • MUJAKJUNG (무작정 시리즈) (18)
        • 딥러닝 공부하기 (21)
      • 데이터사이언스 (1)
        • EDA (1)
        • 데이터과학을 위한 통계 (0)
      • 데이터엔지니어링 (2)
      • 논문리뷰 (2)
        • Computer Vision (2)
      • Python 활용하기 (12)
      • 코딩테스트 (127)
        • Python (109)
        • MySQL (14)
      • Git (3)
      • MySQL 활용하기 (0)
      • 일상 이야기 (1)
  • 블로그 메뉴

    • 홈
    • 태그
  • 최근 글

  • 250x250
  • hELLO· Designed By정상우.v4.10.3
swwho
[Loss Function] Cross Entropy
상단으로

티스토리툴바