[위클리 페이퍼 #8] 지도 학습 vs 비지도 학습, 손실함수

1. 지도 학습과 비지도 학습의 차이는 무엇인가요?

 

 

1) 지도 학습 : 정답(label)이 지정된 데이터 세트를 이용해 데이터를 분류하거나 결과를 정확하게 예측하도록 알고리즘 설계

• 분류 : 알고리즘을 사용하여 데이터를 특정 카테고리로 할당하는 방식
  • 선형 분류기, 서포트벡터머신(SVM), 의사 결정 트리, 랜덤 포레스트 등
  • ex) 이메일이 스팸인지 아닌지 분류
• 회귀 : 알고리즘을 사용하여 종속 변수와 독립 변수 간의 관계를 이해하는 방법
  • 선형 회귀, 로지스틱 회귀, 다항 회귀 등
  • ex) 집 크기와 위치를 기반으로 가격 예측

2) 비지도 학습 : 정답(label)이 지정되지 않은 데이터 세트를 비슷한 특징끼리 군집화하여 새로운 데이터에 대한 결과를 예측, 사람의 개입 없이 데이터에서 숨겨진 패턴을 발견하는 방식

• 클러스터링 : label이 지정되지 않은 데이터를 유사성 or 차이점에 따라 그룹화하는 데이터 마이닝 기술
  • K-means, 계층적 클러스터링 등
  • ex) 고객을 구매 패턴에 따라 그룹화
• 연관 : 주어진 데이터 세트에서 변수 간의 관계를 찾는 방법
  • 장바구니 분석, 추천 엔진 등
• 차원 축소 : 특정 데이터 세트의 특징 or 차원 수가 너무 많을 때 사용. 데이터 무결성을 유지하면서 데이터 입력 수를 관리 가능한 크기로 줄임
  • PCA 등

 

 

2. 손실 함수(loss function)란 무엇이며, 왜 중요한가요?

 

1) 손실함수 : 지도학습 시 알고리즘이 예측한 값과 실제 정답의 차이를 비교하기 위한 함수. 목적 함수, 비용 함수, 에너지 함수 등으로 불리기도 함

• 손실(loss)이 작아질수록 학습이 잘 이루어지고 있다고 해석
• 손실을 최소화하는 방향으로 모델 학습시킴

2) 손실함수의 중요성

• 모델의 학습 방향 설정
  • 경사 하강법 등 최적화 기법을 통해 모델 개선 방향 제시
  • 손실 값 작아지도록 모델의 가중치 업데이트에 활용
• 성능 평가
  • 손실 값을 통해 과대적합이나 과소적합 상태 확인
  • 훈련 데이터와 검증 데이터 손실 값 차이로 일반화 성능 평가
• 적절한 손실함수 선택
  • 문제 유형(분류 or 회귀)에 따른 적절한 손실함수 선택
  • 손실함수 잘못 선택하면 모델 학습 방향 잘못될 가능성 존재

3) 손실함수의 종류

• 회귀 : MAE(평균 절대 오차), MSE(평균 제곱 오차), RMSE(평균 제곱근 오차) 등
• 분류 : Binary cross-entropy, Categorical cross-entropy 등