앙상블(Ensemble)모형의 Bagging과 Boosting 알고리즘

문제4) 앙상블(Ensemble)모형의 Bagging과 Boosting 알고리즘을 설명하시오.

답)

 

1. 앙상블 모형의 개요

 

 

주어진 데이터를 이용하여 여러개의 모델을 학습 후 여러 모델의 예측 결과들을 종합해 정확도를 높이는 기법 단일 학습모델의 성능을 보완하기 위해 여러개의 학습모델 활용

 

2. Bagging 알고리즘

가. Bagging 알고리즘의 개념 및 개념도

 

개념	학습데이터를 균일한 확률분포에 따라 반복적으로 샘플링(부트스트랩)하여 모델링 한 후 결합하여 최종 예측모형을 만드는 알고리즘
개념도

나. Bagging 알고리즘 설명

 

구분	항목	설명
절차	1) Sampling Data 구성 2) 분류기 생성 3) Vote 4) 최종모델 생성	Bootstrap 기법을 통해 Sampling Data 생성 SamplingData 마다 모델링을 통해 단일학습모델 생성 연속형은 평균값 이용, 범주형은 vote 학습모델 결과를 기반으로 최종 모델 생성
알고리즘 특징	Voting 활용 결측치에 강함	모델링 후 평균 혹은 다중투표 연산으로 모델 도출 샘플링 대상의 데이터에 결측치가 존재할 경우 우수

 

 

 

3. Boosting 알고리즘

가. Boosting 알고리즘의 개념 및 개념도

 

개념	학습모델에서 오분류한 학습데이터에 대해 가중치를 주어 오류를 보완하는 방식을 반복하여 최종 분류 모형을 만드는 알고리즘
개념도

 

나. Boosting 알고리즘 설명

구분	항목	설명
절차	1) Sampling Data 구성 2) 모델링 수행 3) 가중치 계산 4) 가중치 조정 5) 최종모델 생성	Bootstrap 기법을 통해 Sampling Data 생성 분류기 학습을 통해 약분류기 생성 오분류 데이터에 부여할 가중치 계산 샘플 가중치를 조정해 학습 진행 앙상블 기법을 통해 강분류기 생성
알고리즘 특징	가중치 선형결합 다수데이터 적합	오분류 데이터를 가중치 결합을 통해 조정 전체 데이터의 양이 많을 수록 성능 우수

 

 

4. Bagging 과 Boosting 비교

 

구분	Bagging	Boosting
학습방식	분류기에 대해 병렬 학습 방식	순차, 선형 학습 방식으로 수행
학습특징	Votingm 다중모델 훈련	가중치 재조정, 앙상블 기법
목적	전반적으로 분류가 잘 되도록 유도 (분산감소에 목적)	분류하기 힘든 값에 예측력을 강화하여 정확도 향상(예측력 강화)
최종모델 생성	예측모형을 결합하여 최종모델 생성	예측력이 약한모델을 결합, 강한 모델 생성
계산 복잡도	높음	낮음
분류성능	데이터 결측치 존재 시 우수, 안전성	데이터 많을 경우 우수, 정확성
추가적으로 앙상블 기법에는 Bagging 기법에 임의성을 부여한 랜덤포레스트 기법도 존재

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥