머신러닝의 도전과제: 불균형 데이터 다루기의 기술

머신러닝의 도전과제: 불균형 데이터 다루기의 기술

현실 세계의 데이터는 종종 이상적이지 않습니다. 그중에서도 '불균형 데이터(Imbalanced Data)'는 머신러닝 실무자들이 자주 마주치는 까다로운 문제입니다. 부정 거래 탐지에서는 사기 거래가 정상 거래의 1% 미만인 경우가 흔하고, 의료 진단에서는 특정 질병 사례가 전체의 극소수에 불과합니다. 이러한 불균형 데이터는 모델이 단순히 다수 클래스만 예측하는 편향된 학습으로 이어질 수 있습니다. 오늘은 머신러닝에서 불균형 데이터를 효과적으로 다루는 방법과 전략에 대해 알아보겠습니다.

불균형 데이터란 무엇인가?

불균형 데이터는 분류 문제에서 서로 다른 클래스에 속한 샘플의 수가 크게 차이 나는 상황을 의미합니다. 일반적으로 소수 클래스(minority class)와 다수 클래스(majority class)로 구분되며, 이 불균형 비율이 10:1, 100:1, 심지어 1000:1 이상으로 극단적인 경우도 많습니다.

불균형 데이터의 문제점:

1. 편향된 학습: 모델은 데이터에서 가장 흔한 패턴을 학습하려는 경향이 있어, 다수 클래스에 맞춰 학습됩니다.
2. 성능 지표의 오해: 단순 정확도(accuracy)는 불균형 데이터에서 오해의 소지가 있습니다. 99%의 데이터가 한 클래스에 속한다면, 모든 샘플을 그 클래스로 예측해도 99%의 정확도를 달성합니다.
3. 소수 클래스 학습 부족: 소수 클래스의 샘플이 너무 적어 모델이 해당 패턴을 효과적으로 학습하지 못합니다.
4. 의사 결정 경계 왜곡: 다수 클래스에 맞춘 의사 결정 경계는 소수 클래스에 대해 부적절할 수 있습니다.

암기... 필수...!!

불균형 데이터 처리 기법

불균형 데이터를 다루는 접근법은 크게 세 가지 범주로 나눌 수 있습니다: 데이터 수준 방법, 알고리즘 수준 방법, 그리고 하이브리드 방법입니다.

1. 데이터 수준 방법 (Resampling)

데이터 수준 방법은 훈련 데이터의 클래스 분포를 직접 조정하여 불균형을 해소합니다.

오버샘플링(Oversampling)

소수 클래스의 샘플을 늘려 다수 클래스와의 균형을 맞추는 방법입니다.

단순 복제(Random Oversampling):

• 소수 클래스의 샘플을 무작위로 복제하여 수를 늘립니다.
• 장점: 구현이 간단하고 직관적입니다.
• 단점: 기존 샘플을 그대로 복제하므로 과적합 위험이 있습니다.

SMOTE(Synthetic Minority Over-sampling Technique):

• 소수 클래스의 샘플 간 보간을 통해 새로운 합성 샘플을 생성합니다.
• 작동 원리: 소수 클래스 샘플과 그 k-최근접 이웃 사이의 선을 따라 새 샘플을 생성합니다.
• 장점: 단순 복제보다 과적합 위험이 낮고 일반화 성능이 좋습니다.
• 단점: 노이즈가 있는 영역이나 클래스 경계에서도 합성 샘플을 생성할 수 있습니다.

ADASYN(Adaptive Synthetic Sampling):

• SMOTE의 확장 버전으로, 학습하기 어려운 샘플 주변에 더 많은 합성 샘플을 생성합니다.
• 장점: 클래스 경계 근처에 더 집중하여 분류가 어려운 영역에 대한 학습을 강화합니다.

Borderline-SMOTE:

• 클래스 경계 부근에 있는 소수 클래스 샘플을 식별하여 이 영역에서만 합성 샘플을 생성합니다.
• 장점: 분류 결정에 더 중요한 경계 영역에 집중하여 효율성을 높입니다.

언더샘플링(Undersampling)

다수 클래스의 샘플을 줄여 소수 클래스와의 균형을 맞추는 방법입니다.

랜덤 언더샘플링(Random Undersampling):

• 다수 클래스에서 무작위로 샘플을 제거합니다.
• 장점: 구현이 간단하고 학습 시간이 단축됩니다.
• 단점: 중요한 정보를 담고 있는 샘플이 제거될 위험이 있습니다.

Tomek Links:

• 서로 다른 클래스에 속하는 가장 가까운 샘플 쌍(Tomek Link)을 찾아 다수 클래스 샘플을 제거합니다.
• 장점: 클래스 경계를 더 명확하게 합니다.

ENN(Edited Nearest Neighbors):

• k-최근접 이웃에 의해 잘못 분류되는 다수 클래스 샘플을 제거합니다.
• 장점: 노이즈와 이상치를 효과적으로 제거합니다.

NearMiss:

• 소수 클래스에 가까운 다수 클래스 샘플을 선택적으로 유지하는 여러 전략을 제공합니다.
• 장점: 클래스 경계에 중요한 샘플을 보존합니다.

하이브리드 리샘플링

SMOTEENN: SMOTE 오버샘플링 후 ENN 언더샘플링을 적용하는 방법입니다.

SMOTETomek: SMOTE 오버샘플링 후 Tomek Links 제거를 적용하는 방법입니다.

이러한 하이브리드 방법은 오버샘플링의 과적합 위험을 줄이면서 언더샘플링의 정보 손실을 최소화하는 장점이 있습니다.

2. 알고리즘 수준 방법

알고리즘 자체를 조정하여 불균형 데이터에 더 잘 대응하는 방법입니다.

비용 민감 학습(Cost-Sensitive Learning)

다른 유형의 오류에 다른 비용(패널티)을 할당하여 모델이 소수 클래스를 더 중요하게 취급하도록 합니다.

클래스 가중치 조정:

• 소수 클래스의 가중치를 높여 해당 클래스의 오분류에 더 큰 패널티를 부과합니다.
• 대부분의 모델(로지스틱 회귀, SVM, 결정 트리 등)에서 'class_weight' 매개변수로 쉽게 구현할 수 있습니다.
• 일반적으로 클래스 비율의 역수를 가중치로 사용합니다.

비용 행렬(Cost Matrix):

• 다양한 유형의 오분류에 대해 서로 다른 비용을 명시적으로 정의합니다.
• 특히 False Negative와 False Positive의 비용이 크게 다른 응용 분야(의료 진단, 사기 탐지 등)에서 유용합니다.

앙상블 기법 활용

앙상블 방법은 여러 기본 모델을 결합하여 불균형 데이터에 더 강건한 솔루션을 제공합니다.

Balanced Random Forest:

• 각 트리를 훈련시킬 때 클래스별로 동일한 수의 샘플을 부트스트랩하여 균형 잡힌 데이터셋을 사용합니다.

EasyEnsemble:

• 여러 개의 언더샘플링된 부분집합으로 여러 분류기를 훈련시키고 결과를 결합합니다.

RUSBoost:

• AdaBoost 알고리즘에 랜덤 언더샘플링을 결합한 방법입니다.

XGBoost, LightGBM, CatBoost의 내장 기능:

• 최신 부스팅 알고리즘은 불균형 데이터를 처리하기 위한 특수 매개변수('scale_pos_weight', 'class_weight' 등)를 제공합니다.

이상 탐지 접근법(Anomaly Detection Approach)

극도로 불균형한 데이터(예: 1000:1 이상)에서는 소수 클래스를 이상치(anomaly)로 간주하고 이상 탐지 알고리즘을 적용할 수 있습니다.

One-Class SVM:

• 정상 샘플(다수 클래스)만 학습하여 정상과 비정상을 구분하는 경계를 학습합니다.

Isolation Forest:

• 무작위 분할을 통해 이상치를 효율적으로 고립시키는 앙상블 방법입니다.

Local Outlier Factor(LOF):

• 로컬 밀도 편차를 기반으로 이상치를 탐지합니다.

Auto-Encoder:

• 정상 샘플만 사용하여 Auto-Encoder를 훈련시키고, 재구성 오류가 큰 샘플을 이상치로 판단합니다.

3. 평가 지표 선택

불균형 데이터에서는 정확도(Accuracy)만으로는 모델의 성능을 제대로 평가할 수 없습니다. 더 적합한 평가 지표가 필요합니다.

혼동 행렬(Confusion Matrix) 기반 지표

정밀도(Precision): TP / (TP + FP) - 양성으로 예측한 것 중 실제 양성인 비율 재현율(Recall): TP / (TP + FN) - 실제 양성 중 양성으로 예측한 비율 F1 점수: 정밀도와 재현율의 조화 평균 특이도(Specificity): TN / (TN + FP) - 실제 음성 중 음성으로 예측한 비율

다른 유용한 지표

ROC 곡선과 AUC(Area Under the Curve):

• 다양한 임계값에서의 TPR(True Positive Rate)과 FPR(False Positive Rate)의 관계를 보여줍니다.
• 불균형이 심할 때는 다음 지표가 더 유용할 수 있습니다.

PR 곡선(Precision-Recall Curve)과 AUC-PR:

• 정밀도와 재현율의 관계를 보여주며, 불균형 데이터에서 ROC보다 더 민감하게 성능 차이를 나타냅니다.

G-mean(Geometric Mean):

• 재현율과 특이도의 기하 평균으로, 두 클래스 모두에 대한 성능을 균형있게 고려합니다.

Matthews 상관 계수(MCC):

• 실제 클래스와 예측 클래스 간의 상관관계로, -1(완전 불일치)부터 1(완전 일치)까지의 값을 가집니다.
• 불균형 데이터에서 특히 유용한 지표입니다.

불균형 데이터 처리의 실제 적용 사례

1. 금융 사기 탐지

신용카드 사기 탐지에서는 사기 거래가 전체의 0.1% 미만인 경우가 일반적입니다.

효과적인 접근법:

• SMOTE와 언더샘플링의 조합(예: SMOTETomek)으로 학습 데이터의 균형을 맞춥니다.
• 비용 민감 XGBoost나 LightGBM을, 높은 'scale_pos_weight' 값으로 적용합니다.
• 정밀도-재현율 트레이드오프를 비즈니스 상황(사기 놓치는 비용 vs. 정상 거래 차단의 비용)에 맞게 조정합니다.
• 오토인코더와 같은 이상 탐지 기법을 다른 분류 모델과 함께 앙상블로 결합합니다.

2. 의료 진단

희귀 질환 진단이나 암 탐지와 같은 의료 분야에서는 양성 사례가 매우 적을 수 있습니다.

효과적인 접근법:

• 적은 양의 데이터에서는 데이터 증강(data augmentation)과 함께 SMOTE를 적용합니다.
• False Negative 비용이 일반적으로 더 높으므로, 높은 재현율을 우선시합니다.
• 의사 결정 임계값을 조정하여 재현율을 높이고, 정밀도 감소를 허용합니다.
• 베이지안 방법이나 다른 확률적 모델을 사용하여 불확실성을 정량화합니다.

3. 고객 이탈 예측

통신사나 구독 서비스에서는 이탈하는 고객이 소수(예: 5-15%)인 경우가 많습니다.

효과적인 접근법:

• 중간 정도의 불균형이므로, 랜덤 언더샘플링과 SMOTE의 조합이 효과적일 수 있습니다.
• 그래디언트 부스팅 모델에 클래스 가중치를 적용합니다.
• 이탈 가능성 점수를 생성하여 기업이 적절한 임계값을 선택할 수 있게 합니다.
• 특성 중요도를 분석하여 이탈 원인에 대한 인사이트를 제공합니다.

불균형 데이터 처리를 위한 실용적 전략

1. 다단계 접근법 구축

단일 기법보다는 여러 방법을 결합한 다단계 접근법이 더 효과적인 경우가 많습니다:

1. 데이터 전처리 최적화:
   • 특성 공학을 통해 소수 클래스를 더 잘 구분할 수 있는 특성을 개발합니다.
   • 이상치와 노이즈를 제거하여 클래스 경계를 더 명확히 합니다.
2. 리샘플링 전략 적용:
   • 데이터 크기에 따라 적절한 리샘플링 방법(오버샘플링, 언더샘플링 또는 하이브리드)을 선택합니다.
   • 여러 리샘플링 비율을 실험하여 최적점을 찾습니다.
3. 알고리즘 최적화:
   • 클래스 가중치와 비용 민감 학습을 적용합니다.
   • 불균형에 강건한 알고리즘(XGBoost, RandomForest)을 선호합니다.
4. 앙상블 방법 활용:
   • 다양한 기본 모델과 데이터 부분집합을 사용한 앙상블을 구축합니다.
   • 서로 다른 리샘플링 전략으로 훈련된 모델을 결합합니다.
5. 임계값 최적화:
   • 의사 결정 임계값을 조정하여 정밀도-재현율 트레이드오프를 최적화합니다.
   • 비즈니스 요구사항에 맞는 평가 지표를 사용합니다.

2. 도메인 지식 활용

문제 도메인에 대한 이해는 불균형 데이터 처리에서 기술적 방법만큼 중요합니다:

• 비용 구조 파악: 다양한 유형의 오류(False Positive와 False Negative)의 실제 비용을 파악합니다.
• 소수 클래스 특성 이해: 도메인 전문가와 협력하여 소수 클래스를 구분하는 핵심 패턴이나 특성을 파악합니다.
• 계층적 접근: 데이터 내에 자연스러운 하위 그룹이 있다면, 계층적 모델링을 고려합니다.

3. 실험 및 검증 설계

불균형 데이터에서는 올바른 실험 설계가 특히 중요합니다:

• 적절한 교차 검증: 층화 k-폴드 교차 검증(Stratified K-Fold Cross-Validation)을 사용하여 각 폴드에서 클래스 분포를 유지합니다.
• 다양한 평가 지표: 단일 지표에 의존하지 말고, 정밀도, 재현율, F1 점수, AUC-PR 등 여러 지표를 함께 고려합니다.
• 통계적 유의성 검증: 특히 소수 클래스의 샘플이 매우 적은 경우, 결과의 통계적 유의성을 검증합니다.

결론: 불균형에서 균형으로

불균형 데이터는 머신러닝에서 피할 수 없는 현실이지만, 적절한 전략과 기법을 활용하면 효과적으로 대응할 수 있습니다. 데이터 수준 방법(리샘플링), 알고리즘 수준 방법(비용 민감 학습, 앙상블), 그리고 적절한 평가 지표의 조합은 불균형 상황에서도 견고하고 유용한 모델을 구축할 수 있게 해줍니다.

중요한 것은 단일 접근법에 의존하지 않고, 문제의 특성과 비즈니스 요구사항을 고려한 맞춤형 전략을 개발하는 것입니다. 불균형 데이터 처리는 단순한 기술적 과제를 넘어, 문제 도메인에 대한 이해와 창의적인 해결책이 요구되는 데이터 과학의 예술이기도 합니다.

결국, 불균형 데이터의 도전에 성공적으로 대응하는 것은 모델의 수학적 정확성뿐 아니라 비즈니스 가치 창출에도 직결됩니다. 소수이지만 중요한 패턴을 놓치지 않는 모델은 금융 사기 방지, 질병 조기 발견, 고객 유지 등 다양한 분야에서 큰 영향을 미칠 수 있습니다.