1. Hyperparameter Tuning : 최적의 하이퍼파라미터 세팅을 찾는 방법 (1) Tuning process 우리는 learning rate $\alpha$, $\beta$ (momentum), $\beta_{1}$, $\beta_{2}$, $\epsilon$ (Adam), # layers, # hidden units, learning rate decay, mini-batch size 등등 선택해야할 하이퍼파라미터가 매우 많다. Ng 교수님은 빨->주->파 순서로 중요하다고 생각하신다고 한다. Grid search Grid search는 왼쪽에 있는 그림처럼 hyperparameter를 찾는다. ML 초기에는 이런 방법을 많이 사용했다. 여러 개의 point 중에서 가장 잘 작동하는 poin..
