머신러닝의 의사결정 트리: 데이터 실무자를 위한 심층 가이드

의사결정 트리는 일반적으로 네 가지 구성 요소를 포함합니다.

루트 노드

물리적 나무와 마찬가지로 루트 노드에서 모든 것이 시작됩니다. 추론 과정의 첫 단계로, 분기가 이루어지기 전에 질문과 관련된 전체 데이터 세트가 모이는 지점입니다. 

분기

분기는 데이터 값에 따라 데이터 세트를 분할합니다. 예를 들어, 30세 이상 고객은 30세 미만 고객과 다른 경로를 따를 수 있습니다. 의사결정 트리는 각 그룹을 서로 다른 결과로 안내합니다.

내부 노드

내부 노드는 모델이 경로를 결정하기 위해 데이터에 대해 질문을 던지는 의사결정 지점입니다. 예를 들어, 리테일 서비스 모델은 과거 구매 데이터를 분석하고 “고객 A는 빨간 셔츠를 더 자주 구매하는가, 아니면 파란 셔츠를 더 자주 구매하는가?”라는 질문을 할 수 있습니다.

리프 노드

리프 노드는 의사결정 트리의 종착점으로, 추론 과정이 끝나고 모델이 결과를 제공합니다. 앞선 리테일 예시를 이어가면, 고객의 구매 이력이 빨간 셔츠에 대한 선호를 나타낼 경우 ML 모델의 의사결정 트리는 새로운 빨간 셔츠 가운데 여러 옵션을 추천하도록 하는 리프 노드로 이어질 수 있습니다.

실제 환경에서 의사결정 트리는 여러 경로를 동시에 탐색합니다. 트리의 논리는 다양한 방향으로 분기하며 최적의 답을 찾습니다.

일반적으로 활용되는 다양한 의사결정 트리 알고리즘이 있으며, 대부분 분류와 회귀 작업에 적용할 수 있습니다. 대표적인 알고리즘은 다음과 같습니다. 

CART(분류 및 회귀 트리)

널리 사용되는 알고리즘인 CART는 각 특성에 대해 항상 이진 분할(예/아니오)을 생성한다는 점에서 다른 의사결정 트리 기법과 구별됩니다. 또한 데이터 내 값을 가장 효과적으로 분리하는 분할에 중점을 둡니다. 예를 들어 대출 승인 여부를 예측하는 CART 모델은 먼저 “소득이 50,000달러(USD) 초과인가?”(예/아니오)라는 기준으로 신청자를 분할할 수 있습니다. 이후 각 그룹을 신청자의 신용 점수가 750점을 초과하는지 여부나 신청자가 재직 중인지와 같은 다른 요소를 기준으로 분할을 이어갑니다.

ID3(Iterative Dichotomiser 3)

초기부터 널리 사용된 의사결정 트리 알고리즘 중 하나인 ID3는 가능한 응답을 점차 줄여 나가는 질문을 선택해 데이터를 더 작은 그룹으로 분할하며, 최종적으로 원하는 예측이나 추천에 도달합니다. 예를 들어 스팸 필터는 상업 광고에 자주 사용되는 ‘제안’이라는 단어가 포함된 이메일을 선별할 수 있습니다.

C4.5

C4.5는 일련의 예 또는 아니오 질문을 통해 데이터를 더 작은 그룹으로 분할하며 의사결정 트리를 구축합니다. 이를 통해 보다 정밀한 예측에 도달할 수 있습니다. ID3를 개선한 알고리즘으로, ‘spam’ 또는 ‘not spam’과 같은 범주형 값과 ‘age’ 또는 ‘income’과 같은 수치형 값을 모두 처리할 수 있으며, 결측치 같은 문제도 보완합니다. 예를 들어 통신사는 C4.5를 사용해 연령, 위치, 데이터 사용량과 같은 요소를 종합적으로 고려하여 고객에게 적합한 요금제 옵션을 구성할 수 있으며, 잠재 고객에 대한 정보가 일부 불완전한 경우에도 이를 수행할 수 있습니다. 

CHAID(Chi-Square Automatic Interaction Detection)

CHAID는 통계적 검정을 사용해 분할 지점을 결정하며, 한 번에 여러 선택지를 가진 분기를 생성하는 경우가 많습니다. 예를 들어, 리테일 기업은 이를 활용해 고객을 청소년, 청년층, 중장년층, 고령층과 같은 연령대 구간으로 분류하고, 새로운 로열티 프로그램에 가장 반응할 가능성이 높은 인구통계학적 집단을 예측할 수 있습니다.

조건부 추론 트리

조건부 추론 트리는 변수가 분할을 정당화할 만큼 충분히 관련성이 있는지 통계적으로 검정함으로써 편향성을 줄입니다. 이러한 방식은 통계적 유의성 검정 없이 데이터를 순차적으로 분할하는 ID3 및 CART 등의 기존 의사결정 트리와 구별되는 특징입니다. 예를 들어, 일반적인 트리는 ‘출신 대학’을 중요 변수로 사용할 수 있지만, 조건부 추론 트리는 해당 변수가 직무 성과 예측에 통계적으로 유의하지 않다고 판단해 제외할 수 있습니다.

데이터를 분할할 때 ML 모델은 일반적으로 두 가지 주요 기준 즉, 지니 불순도 또는 엔트로피 중에서 하나를 사용합니다. 두 기준 모두 데이터의 혼합 정도를 측정하며, 알고리즘은 선택한 방법을 적용해 데이터를 가장 효과적으로 구분하는 분할을 찾습니다.

지니 불순도

지니는 특정 질문이 데이터를 얼마나 명확한 그룹으로 나누는지를 평가합니다. 수학적으로 이는 해당 그룹의 분포에 따라 임의의 항목에 레이블을 부여할 경우 오분류될 확률을 의미합니다. CART 알고리즘은 이 지표를 적용해 다양한 분할 방식을 평가하고, 가장 명확한 분리를 만들어 내는 분할을 선택합니다. 예를 들어 피곤한지 여부를 묻는 질문은 커피를 마실 가능성이 높은 그룹과 그렇지 않은 그룹으로 나눌 수 있습니다.

엔트로피

엔트로피는 데이터 세트의 불확실성을 측정합니다. ID3와 C4.5 같은 알고리즘은 엔트로피를 기반으로 정보 이득을 산출하며, 이를 통해 분기가 얼마나 불확실성을 줄였는지 평가합니다. 트리는 불확실성을 가장 크게 줄이는 분할을 선택해 클래스 간 구분을 가장 명확하게 만듭니다. 커피 비유에서 오전인지 오후인지 묻는 질문은 사람들을 보다 명확한 그룹으로 구분해 의사결정을 안내하므로 불확실성을 줄이는 예입니다.

의사결정 트리는 복잡하고 시간이 많이 소요되는 추론 과정을 단순화해 더 빠르고 효율적으로 결과를 제공합니다. 구체적인 장점은 다음과 같습니다. 

뛰어난 해석 용이성

의사결정 트리의 투명성은 ML의 추론 과정을 보다 명확하게 보여 줍니다. 누구나 모델이 결론과 추천에 도달하기까지의 단계별 논리를 시각적으로 따라갈 수 있습니다.

데이터 준비 부담 경감

의사결정 트리는 범주형 데이터와 수치형 데이터를 모두 처리할 수 있으므로, 분석가는 데이터를 변환하거나 재구성하는 데 많은 시간을 들일 필요가 없습니다. 모델 실행 전에 필요한 사전 준비 작업을 줄여 줍니다. 

높은 유연성

의사결정 트리는 각 트리가 독립적으로 예측을 수행하는 자체 완결형 모델이기 때문에 다양한 문제에 유연하게 적용할 수 있습니다. 또한 이러한 유연한 설계 덕분에 여러 트리를 결합하고 출력을 집계할 수 있어 대규모의 복잡한 작업도 처리할 수 있습니다.

결측치 처리

모델에 따라 완전한 데이터 세트가 필요한 경우도 있지만, 의사결정 트리는 정보가 일부 누락된 경우에도 작동할 수 있습니다. 불완전한 레코드에 낮은 가중치를 부여하거나 데이터를 여러 가능한 경로로 분산해 처리합니다.

소규모 데이터 세트에도 효과적

의사결정 트리는 방대한 데이터가 없어도 유의미한 패턴을 찾을 수 있습니다. 정보가 제한적일 때도 효과적으로 작동해, 데이터 확보가 어렵거나 시간이 많이 소요되는 분야에서 유용합니다.