이 글은 을 참고하여 만들어졌습니다.11.3 고속 옵티마이저아주 큰 신경망의 훈련 속도는 심각하게 느릴 수 있습니다.지금까지 훈련 속도를 높이는 네 가지 방법에 대해 살펴봤습니다.좋은 초기화 전략 적용하기좋은 활성화 함수 사용하기배치 정규화 사용하기사전 훈련된 네트워크의 일부 재사용하기훈련 속도를 크게 높일 수 있는 방법은 더 빠른 옵티마이저를 사용하는 것입니다.ex. 모멘텀 최적화(momentum optimization), 네스테로프 가속 경사(Nesterov accelerated gradient), AdaGrad, RMSProp, Adam, Nadam 옵티마이저 11.3.1 모멘텀 최적화공을 굴릴때 처음에는 느리지만 종단속도(저항 때문에 등속도 운동을 하게 될때의 속도)에 도달할 때까지 빠르게 가속..
