문제
정보 이득(Information Gain)에 대한 설명으로 가장 적절한 것은?
① 분할 후 각 노드의 엔트로피 값의 합을 의미한다. ② 분할 전 엔트로피에서 분할 후 가중 엔트로피를 뺀 값이다. ③ 분할 후 노드의 개수를 나타내는 지표이다. ④ 분할 조건의 복잡도를 측정하는 지표이다.
정답
2번
해설
정보 이득은 분할 전 엔트로피에서 분할 후 각 자식 노드의 엔트로피를 샘플 비율로 가중평균한 값을 뺀 것으로, 분할로 인한 불순도 감소량을 나타냅니다. ①은 가중 엔트로피, ③④는 정보 이득과 무관한 개념입니다.