문제
의사결정나무에서 정보 이득(Information Gain)이 0인 경우에 대한 설명으로 가장 적절한 것은?
① 분할 전과 후의 불순도가 동일하여 분할 효과가 없는 상태이다. ② 분할 후 모든 노드가 완전히 순수해진 상태이다. ③ 분할 변수가 연속형일 때만 발생할 수 있는 현상이다. ④ 과적합이 발생하여 일반화 성능이 저하된 상태이다.
정답
1번
해설
정보 이득 = 분할 전 엔트로피 - 분할 후 가중 엔트로피이므로, 정보 이득이 0이면 분할 전후의 불순도가 같아 분할 의미가 없습니다. ②는 정보 이득이 최대일 때의 상황, ③은 변수 유형과 무관하게 발생 가능, ④는 정보 이득과 직접적 관련이 없는 개념입니다.