문제
의사결정나무(Decision Tree)의 분할 기준 중 정보 이득(Information Gain)에 대한 설명으로 가장 적절한 것은?
① 지니 불순도는 항상 엔트로피보다 우수한 분할 기준이다. ② 분할 후 순도가 높아질수록 좋은 분할이다. ③ 정보 이득은 분할 전 엔트로피와 분할 후 가중 평균 엔트로피의 차이를 의미한다. ④ 연속형 변수는 분할 기준으로 사용할 수 없다.
정답
3번
해설
정보 이득(Information Gain)은 분할 전 엔트로피에서 분할 후의 가중 평균 엔트로피를 뺀 값으로, 분할을 통해 불순도가 얼마나 감소했는지를 나타낸다. ①은 항상 우수하다고 단정할 수 없고, ②는 일반적인 원리 설명으로 정보 이득의 정의 자체는 아니며, ④는 연속형 변수도 임계값을 기준으로 분할할 수 있으므로 틀리다.