머신러닝 최적화 알고리즘 (Optimization Algorithm) 유형 및 장단점 / ①

문제9) 머신러닝 최적화 알고리즘 (Optimization Algorithm) 유형 및 장단점

답)

 

 

1. 효율 최적화를 위한, 머신러닝 최적화 알고리즘의 개요

• 머신 러닝 오차 최소화를 위해 예측값의 손실함수 값을 줄이도록 가중치와 편향값을 조절하여 비용 함수의 최소값을 찾는 알고리즘

 

 

2. 머신러닝 최적화 알고리즘의 유형 및 장단점

가. 머신러닝 최적화 알고리즘 유형

 

머신 러닝 성능 향상을 위해 옵티마이저는 스텝 방향, 스텝 사이즈 두 가지 측면에서 지속적 발전

 

나. 머신러닝 최적화 알고리즘 유형별 장단점

 

유형	장단점
Stochastic Gradient Decent	장점	학습률을 기준으로 손실함수(Loss Function) 그래프의 경사를 따라내려 가면서 가중치를 Update하는 옵티마이저
	단점	오버슈팅 문제 및 지역 최소점(Local Minimum) 문제가 발생
Momentum	장점	SGD에 관성의 개념을 적용하여 지역최소점 문제를 해결 이동거리와 관성계수에 따라 파라미터를 업데이트하는 옵티마이저
	단점	관성으로 인해서 최적값을 지나칠 수 있는 단점
NAG(Nesterow Accelrated Gradient)	장점	Momentum으로 이동된 지점에서의 기울기를 활용하여 업데이트를 수행 관성에 의해 빨리 이동하는 이점을 누리면서 전역최소점에 중지해야 하는 곳에 효과적으로 제동하여 Momentum의 오버슈팅(Over Shooting) 문제를 해결
	단점	이동을 중지해야 하는 지점에 도달해도, momentum에 의해 해당 지점을 지나칠 수 있다는 문제
AdaGrad	장점	파라미터별 업데이트를 하는 개념은 장점이나 학습이 진행됨에 따라 변화의 폭이 눈에 띄게 감소 동일기준으로 업데이트 되는 각각의 파라미터에 개별 기준을 적용하여 업데이트하는 옵티마이저 최적화된 파라미터는 적은 변화를 주고 적게 이동한 파라미터는 큰 변화를 적용
	단점	값은 점차 커지기 때문에 학습이 오래 진행되면 학습률( η g t + ϵ )이 에 가까워지기 때문에 더 이상 학습이 진행 불가
RMSProp	장점	지수이동평균법을 이용하여 학습이 진행됨에 따라 파라미터사이 차별화는 유지하되 학습의 최소 Step 유지하여 0에 수렴하는 것을 방지 Adagrad의 문제점을 개선하기 위해 지수이동평균법을 적용한 옵티마이저
	단점	무한히 학습한다면 갱신량이 0이 되어 전혀 갱신되지 않는 일이 발생
AdaDelta	장점	일수 계산은 RMSProp와 동일하게 수행되지만 가중치를 업데이트하는 과정에서 학습률을 사용하지 않음 Adagrad의 개선을 위해 제안된 방법
	단점	Training동안 지속적으로 작아지는 learning rate Global Learning Rate의 선택 필요
Adam	장점	기울기 값과 기울기의 제곱값의 지수이동평균을 활용하여 Step변화량을 조절 RMSProp와 Momentum의 기법을 합친 옵티마이저
	단점	초기 w업데이트 속도가 느림

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥