문제
의사결정나무에서 정보 이득(Information Gain)이 음수가 되는 경우는 언제인가?
① 분할 전후 엔트로피가 동일할 때 ② 분할 후 엔트로피가 분할 전보다 증가할 때 ③ 모든 데이터가 같은 클래스일 때 ④ 정보 이득은 항상 0 이상이므로 음수가 될 수 없다.
정답
4번
해설
정보 이득은 분할 전 엔트로피에서 분할 후 가중 평균 엔트로피를 뺀 값으로, 엔트로피는 항상 감소하거나 같으므로 정보 이득은 항상 0 이상입니다. 이는 정보 이득의 수학적 정의에서 비롯되는 특성입니다.