활성화 함수 2

그레이디언트 소실과 폭주 문제

이 글은 을 참고하여 만들어졌습니다.CHAPTER 11. 심층 신경망 훈련하기CHAPTER10까지는 몇 개의 은닉층만으로 이루어진 얕은 네트워크.고해상도 이미지에서 수백 종류의 물체를 감지하는 것처럼 아주 복잡한 문제를 다뤄야 한다면 어떻게 해야 할까요?=> 더 깊은 심층 신경망을 훈련but 문제가 발생한다.까다로운 그레이디언트 소실 또는 그레이디언트 폭주 문제에 직면.=> 심층 신경망의 아래쪽으로 갈수록 그레이디언트가 점점 작아지거나 커지는 현상대규모 신경망을 위한 훈련데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 너무 많이 든다.훈련이 극단적으로 느려짐수백만 개의 파라미터를 가진 모델은 훈련 세트에 과대적합 가능성이 상당히 높다.=> 특히 훈련 샘플이 충분하지 않거나 잡음이 많은 경우이 해결..

딥러닝 2025.05.07

신경망 하이퍼파라미터 튜닝하기

이 글은 (2판)을 참고하여 만들어졌습니다. 3. 신경망 하이퍼파라미터 튜닝하기신경망의 유연성은 단점이기도 합니다. => 조정할 하이퍼파라미터가 많기 때문입니다.아주 복잡한 네트워크 구조에서뿐만 아니라 간단한 다층 퍼셉트론에서도 층의 개수, 층마다 있는 뉴런의 개수, 각 층에서 사용하는 활성화 함수, 가중치 초기화 전략 등 많은 것을 바꿀 수 있습니다.어떤 하이퍼파라미터 조합이 주어진 문제에 최적일까요?? 한 가지 방법은 많은 하이퍼파라미터 조합을 시도해보고 어떤 것이 검증 세트에서(또는 K-폴드 교차 검증으로) 가장 좋은 점수를 내는지 확인하는 것이다.ex. GridSearchCV나 RandomizedSearchCV를 사용해 하이퍼파라미터 공간을 탐색할 수 있습니다.이렇게 하려면 케라스 모델을 사이킷런..

딥러닝 2025.05.04