[TIL] 0711 아침스터디 - Hyper Parameter tuning(1)

 Hyper Parameter Tuning의 대표적 3가지 방법

1. Grid Search
2. Random Search
3. Bayesian Optimization

Grid Search.

Hyperparameter를 일정한 간격으로 변경하여, 최적의 파라미터를 찾아가는 기법.
* 사전에 탐색할 값들을 미리 지정해주고, 그 값들의 모든 조합을 바탕으로 최고점을 찾아낸다.

-> Problem : 최적의 해를 찾을 수 없다 / 동작 방식이 비효율적(찾을 필요가 없는 구간을 찾는다.)

Random Search

위의 문제를 해결하기 위해 Hyperparameter의 값을 랜덤하게 선출하는 과정을 사용.
* 사전에 탐색할 값들의 범위를 지정해주고, 가능한 조합을 바탕으로, 최고점을 찾는다.

-> Grid Search에 비해, 최적해를 확률적으로 더 빠르게 찾을 수 있다.

- Problem : "Random"하게 Parameter를 탐색하기 때문에, 이전까지의 조사과정에서 얻어진 Hyperparameter들의 값들의 성능을 반영하지 않는다. 

Bayesian optimization

목적 함수와, hyperparameter의 쌍을 활용하여, 목적함수를 최대로 만드는 최적해를 찾는 문제로 바꾼다.

* 사용되는 두가지 함수
- 목적 함수를 추정하는 함수(surrogate model)
- 다음 입력값 후보를 추천하는 함수(accquisition model)

실습 / Grid vs Random

https://github.com/SeongwonTak/TIL_swtak/blob/master/DataScience/2022_TIL/0711%20random%20search%20vs%20grid%20search.ipynb

GitHub - SeongwonTak/TIL_swtak: Today, I learned.