선형 서포트 벡터 머신의 마진(Margin) 분류 방법

 

문제2) 머신러닝의 분류 모델인 서포트 벡터 머신(Support Vector Machine) 중 선형 서포트 벡터 머신의 마진(Margin) 분류 방법 2가지를 설명하시오.

 

답)

 

1.머신러닝의 최대 Margin 분류 모델, 서포트 벡터 머신(SVM) 개요

가. 서포트 벡터 머신(Support Vector Machine) 개념 및 특징

개념	데이터가 사상 된 공간에서 각 집단으로 구분되는 데이터 중 경계선과 근접한 데이터 (Support Vector) 간의 거리가 가장 큰 경계를 식별하는 알고리즘
주요특징	1) 지도학습에서 과적합 회피	최대 마진을 찾는 과정에 일반화 성능이 높아짐
	2) 분류와 회귀에 모두 사용	선형과 비선형 분류, 회귀 및 이상값 분류에 사용
	3) 최대 마진 목적	최대 마진을 갖도록 경계면을 찾는 것이 주 목적임
서포트 벡터 머신은 데이터 클래스 간의 폭(Margin)을 극대화 하는 최적화 기반의 분류기로 머신러닝 모델 중 패턴인식, 비선형 분류문제를 해결하는데 가장 많이 사용하는 알고리즘임

 

나.서포트 벡터 머신(Support Vector Machine) 구성요소 설명

개념도	요소	설명
	서포트 벡터 (Support Vector)	집단을 구분하는 Hyperplane에서 가장 근거리에 위치하는 벡터
	마진 (Margin)	초평면(결정 경계)와 Support Vector 사이의 거리 Support Vector 사이가 최대 마진이 되도록 하는 경계 식별
	초평면 (Hyperplane)	n차원의 공간 구분을 위해 결정되는 n-1차원의 평면 = 결정 경계(Decision Boundary)
서포트 벡터 머신은 마진(Margin)의 이상값(Outlier) 허용 정도에 따라 하드 마진(Hard Margin)과 소프트 마진(Soft Margin)으로 구분됨

 

2.개념 측면, 선형 서포트 벡터 머신의 마진(Margin) 분류 방법 2가지 설명

구분	하드 마진(Hard Margin)	소프트 마진(Soft Margin)
개념	모든 데이터(양성/음성)가 결정 경계의 마진 밖으로 위치하는 가중치(기울기)를 찾는 방법	결정 경계 마진 안에 위치하는 데이터의 수를 제한하면서 마진 폭이 최대가 되도록 하는 가중치(기울기)를 찾는 방법
개념도
하드 마진은 이상값(Outlier)을 허용하지 않아 Support Vector와 결정 경계 사이가 매우 좁으므로 이상값에 민감하게 반응하여 과적합에 빠질 수 있음 소프트 마진은 이상값(Outlier)에 더 강력하며 선형분리가 불가능한 데이터셋에 적합해, 완벽한 분리가 불가능할 경우 많은 실제 데이터를 더 잘 처리할 수 있는 장점을 가짐

 

3. 특성 측면, 선형 서포트 벡터 머신의 마진(Margin) 분류 방법 2가지 설명

구분	하드 마진(Hard Margin)	소프트 마진(Soft Margin)
매커니즘	데이터가 선형 분리 가능하다고 가정하고 오분류 없는 완벽 분리	비선형적으로 분리 가능한 데이터에서 일부 잘못된 분류를 허용하기 위한 여유 변수(슬랙변수)를 도입함
마진	완벽한 분류를 위해 최대화된 초평면과 두 집단 중 가장 가까운 데이터 점(Support Vector) 사이의 거리	하드 마진과 비슷하지만 유연성을 높이기 위해 일부 데이터가 마진 내에 있거나 잘못 분류 가능
목표	훈련 데이터를 완벽하게 분류하면서 마진을 극대화	정규화 매개변수(C)에 의해 제어되는 일부 오분류를 허용하면서 마진을 최대화
슬랙변수	오분류를 허용하지 않으므로 사용 안 함	오분류 정도를 측정하며, 보다 큰 값은 잘못 분류되었거나 여백 위반을 나타냄
적합성	이상값 없이 선형으로 분리 가능한 데이터에 적합함	실제 데이터, Noisy 데이터, 비선형 분리 가능한 데이터 적합
사용장점	선형으로 분리 가능한 데이터에 대한 잘못된 분류가 없도록 보장	이상값에 더욱 강력하고 비선형적으로 분리 가능한 실제 데이터에 상대적으로 적합함
제한사항	특이치에 민감하며, 비선형적으로 분리 가능한 데이터에 부적합	클래스를 분리하는데 잠재적으로 덜 엄격하며, 정규화 매개변수(C)의 조정이 필요함
공통점	데이터 세트의 선택과 특정 요구사항에 따라 선별적으로 적용
SVM의 파라미터인 정규화 매개변수(C)로 마진의 폭과 오차의 균형을 조정하며, 값이 클수록 하드 마진, 값이 적을수록 소프트 마진에 가까움 서포트 벡터 머신은 커널 기법을 이용하여 비선형 분류를 가능하게 함

 

4. 서포트 벡터 머신의 커널 기법(Kernel Trick)

구분	설명	활용
선형 커널	1차원의 기본 유형 커널	텍스트 분류 문제
다향식 커널	다항 특성을 추가하는 효과를 내주는 함수	지정한 차수까지 변환하여 확장
가우시안 RBF 커널	유사도 특성을 추가하는 효과를 내주는 함수	데이터 사전 지식이 없는 경우
시그모이드 커널	시그모이드 곡선의 tanh 적용	인공신경망에서 선호
커널 기법을 사용하면 저차원의 데이터를 고차원으로 변환하여, 저차원 데이터의 비선형 분류가 가능하게 됨

 

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥