문제
아래 설명에 해당하는 용어로 알맞은 것은?
다층 신경망 모형에서 은닉 층의 개수를 너무 많이 설정하면 역전파 과정에서 앞쪽 은닉층의 가중치가 조정되지 않아, 신경망에 대한 학습이 제대로 되지 않는 현상
① 기울기소실 문제 ② 과적합 ③ 활성화 함수 ④ 신경망 레이어 소실
정답
1번
해설
정답: 1. 역전파에서 층이 깊어질수록 기울기(gradient)가 앞쪽 층으로 갈수록 점점 작아져 가중치가 거의 갱신되지 않는 현상을 기울기 소실(Vanishing Gradient) 문제라 한다.
오답 풀이
- 1번: 앞쪽 층 가중치가 학습되지 않는 현상은 기울기 소실 문제이므로 옳다.
- 2번: 과적합은 학습 데이터에 지나치게 맞춰져 일반화 성능이 떨어지는 문제로, 본 설명과 다르다.
- 3번: 활성화 함수는 뉴런의 비선형 변환 함수로 현상 명칭이 아니다.
- 4번: ‘신경망 레이어 소실’은 표준 용어가 아니다.
보충 개념 기울기 소실은 시그모이드/tanh의 미분값이 작아 발생하며, ReLU 계열 활성화 함수·배치 정규화·잔차 연결(ResNet) 등으로 완화한다.