베이지안 최적화(Bayesain Optimization) / ①

문제 3) 베이지안 최적화

답)

 

1. 하이퍼파라미터 최적화 기법, 베이지안 최적화의 개요

가. 베이지안 최적화(Bayesain Optimization)의 개념

• 모델 최적화에 필요한 최적의 하이퍼파라미터를 구하기위해, 미지의 목적함수(Objective Function)를 상정하여, 대체 모델(Surrogate Model)에서 최적의 하이퍼파라미터를 최적화하는 기법

 

나. 베이지안 최적화의 등장배경

등장배경	설명
기존 튜닝 기법 보완	GridSearch와 RandomSearch의 최적화 파라미터 도출의 한계를 극복 GridSearch : 최적화 시간이 필요 -> 최적화 도출 시간 단축 RandomSearch : 정확도 부족 -> 정확도 부족 부분을 획득 함수로 최적화
사전 정보 활용	기존에 탐색이 완료된 값을 기반으로 미지의 영역만 최적화 수행
기존 값을 활용해서 최적의 파라미터 도출로 시간 절약과 정확도 향상하는 최적화 기법

 

2. 베이지안 최적화의 개념도 및 구성요소

구성요소	설명
(1) Surrogate Model	대체 모델로 시뮬레이션을 기반으로 실제 모형과 유사한 모델
(2) Objective Function	목적 함수, 실제 최적의 값을 목표로 예측의 기준이 되는 함수
(3) Acquisition Function	획득 함수, 기존에 입력된 값과 다음 번 최적의 값을 확률로 찾는 함
베이지안 최적화를 통해 적은 Cost를 사용해서 최적의 하이퍼파라메터를 최적화할 수 있음

 

3. AutoML에서의 베이지안 최적화

AutoML에서 베이지안 최적화를 통해 모델 최적화와 하이퍼파라미터 최적화를 동시에 수행 성능 향상

 

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥