잔잔한 흐름님의 블로그

  • 홈
  • 태그
  • 방명록

he 초기화 1

그레이디언트 소실과 폭주 문제

이 글은 을 참고하여 만들어졌습니다.CHAPTER 11. 심층 신경망 훈련하기CHAPTER10까지는 몇 개의 은닉층만으로 이루어진 얕은 네트워크.고해상도 이미지에서 수백 종류의 물체를 감지하는 것처럼 아주 복잡한 문제를 다뤄야 한다면 어떻게 해야 할까요?=> 더 깊은 심층 신경망을 훈련but 문제가 발생한다.까다로운 그레이디언트 소실 또는 그레이디언트 폭주 문제에 직면.=> 심층 신경망의 아래쪽으로 갈수록 그레이디언트가 점점 작아지거나 커지는 현상대규모 신경망을 위한 훈련데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 너무 많이 든다.훈련이 극단적으로 느려짐수백만 개의 파라미터를 가진 모델은 훈련 세트에 과대적합 가능성이 상당히 높다.=> 특히 훈련 샘플이 충분하지 않거나 잡음이 많은 경우이 해결..

딥러닝 2025.05.07
이전
1
다음
더보기
프로필사진

잔잔한 흐름님의 블로그

잔잔한 흐름님의 블로그 입니다.

  • 분류 전체보기 (45)
    • Spring Boot (5)
    • 운영체제 (7)
    • 컴파일러 (7)
    • 데이터베이스 (8)
    • 컴퓨터 구성 (3)
    • 공학경제 (4)
    • 딥러닝 (9)
    • 게임서버 (1)
    • Django (1)

Tag

액세스 시간, 다층 퍼셉트론, he 초기화, 콜백, l1 규제, SQL, MLP, 페이징 기능, mc 드롭아웃, 신경망, 맥스-노름 규제, 고속 옵티마이저, nadam 최적화, 하이퍼파라미터, 네스테로프 가속 경사, rbm, 활성화 함수, url 프리픽스, 몬테-카를로 드롭아웃, 모멘텀 최적화,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바