t-SNE와 UMAP: 고차원 데이터 시각화의 강력한 도구

t-SNE와 UMAP: 고차원 데이터 시각화의 강력한 도구

고차원 데이터의 시각화와 탐색은 데이터 과학과 기계학습에서 가장 어려운 도전 중 하나입니다. 전통적인 차원 축소 기법인 PCA가 데이터의 전역 구조를 보존하는 데 초점을 맞춘다면, t-SNE(t-distributed Stochastic Neighbor Embedding)와 UMAP(Uniform Manifold Approximation and Projection)은 데이터의 국소적 구조와 관계를 더욱 잘 보존하는 현대적 기법입니다. 오늘은 이 두 가지 강력한 비선형 차원 축소 방법의 개념, 작동 원리, 장단점 및 실제 활용 사례에 대해 알아보겠습니다.

 

t-SNE: 국소적 관계에 충실한 시각화

t-SNE는 2008년 Laurens van der Maaten과 Geoffrey Hinton에 의해 소개된 차원 축소 알고리즘으로, 특히 고차원 데이터의 2D 또는 3D 시각화에 탁월한 성능을 보입니다. 이 기법은 복잡한 데이터셋에서 클러스터 구조를 식별하는 데 매우 효과적입니다.

t-SNE의 핵심 아이디어

t-SNE의 기본 아이디어는 다음과 같습니다:

1. 유사도 보존: 고차원 공간에서 가까운 점들은 저차원 공간에서도 가까워야 하고, 고차원 공간에서 먼 점들은 저차원 공간에서도 멀어야 합니다.
2. 확률적 접근: 점들 간의 거리를 직접 사용하는 대신, 조건부 확률로 변환합니다. 고차원 공간에서 점 i가 점 j를 이웃으로 선택할 확률과 저차원 공간에서의 같은 확률이 유사하도록 저차원 표현을 최적화합니다.
3. t-분포 활용: 저차원 공간에서는 정규 분포 대신 두꺼운 꼬리를 가진 t-분포를 사용하여 '군집 붕괴 문제'(crowding problem)를 해결합니다. 이는 고차원 공간의 중간 거리에 있는 많은 점들이 저차원에서 적절히 표현될 수 있게 합니다.

t-SNE의 작동 원리

t-SNE 알고리즘의 주요 단계는 다음과 같습니다:

1. 고차원 유사도 계산

• 각 데이터 포인트 쌍 간의 조건부 확률 p(j|i)를 계산합니다. 이는 점 i가 점 j를 이웃으로 선택할 확률입니다.
• 이 확률은 i를 중심으로 하는 가우시안 분포를 기반으로 합니다. 분포의 분산(perplexity 매개변수로 제어)은 각 점마다 자동으로 조정됩니다.
• 대칭적 유사도 p_ij = (p(j|i) + p(i|j)) / (2N)을 계산합니다.

2. 저차원 초기화

• 저차원 공간(일반적으로 2D 또는 3D)에 랜덤하게 점들을 초기화합니다.
• 때로는 PCA를 사용하여 초기화하기도 합니다.

3. 저차원 유사도 계산

• 저차원 공간에서 점들 간의 유사도 q_ij를 계산합니다.
• 가우시안 대신 t-분포(자유도 1)를 사용하여 계산합니다.

4. 유사도 최적화

• KL 발산(Kullback-Leibler divergence)을 최소화하여 p_ij와 q_ij의 차이를 줄입니다.
• 경사 하강법을 사용하여 저차원 표현을 반복적으로 업데이트합니다.

t-SNE의 장점

1. 국소적 구조 보존: 고차원 공간의 국소적 관계를 저차원 공간에서 매우 잘 보존합니다.
2. 클러스터 식별: 데이터의 자연스러운 클러스터와 그룹을 시각적으로 뚜렷하게 드러냅니다.
3. 비선형 관계 포착: 비선형적인 매니폴드 구조를 효과적으로 포착할 수 있습니다.
4. 직관적 시각화: 복잡한 고차원 데이터를 직관적으로 이해할 수 있는 형태로 시각화합니다.

t-SNE의 한계

1. 전역 구조 손실: 전역적인 데이터 구조(클러스터 간 거리, 전체적인 형태)를 잘 보존하지 못할 수 있습니다.
2. 계산 복잡성: 계산 복잡도가 O(n²)로, 대규모 데이터셋에 적용하기 어렵습니다.
3. 매개변수 민감성: perplexity와 같은 매개변수 설정에 따라 결과가 크게 달라질 수 있습니다.
4. 확률적 특성: 실행할 때마다 다른 결과를 얻을 수 있어 재현성이 제한적입니다.
5. 새로운 데이터 투영 불가: 새로운 데이터 포인트를 기존 임베딩에 추가하려면 전체 모델을 재학습해야 합니다.

UMAP: 더 빠르고 더 확장 가능한 대안

UMAP은 2018년 Leland McInnes, John Healy, James Melville에 의해 소개된 비교적 최신 차원 축소 알고리즘입니다. t-SNE와 유사한 목표를 가지고 있지만, 계산 효율성이 더 높고 이론적 기반이 더 탄탄합니다.

UMAP의 핵심 아이디어

UMAP의 핵심 아이디어는 다음과 같습니다:

1. 리만 기하학과 위상수학: UMAP은 리만 기하학과 위상수학의 개념을 기반으로 데이터가 존재하는 매니폴드를 근사합니다.
2. 퍼지 위상 표현: 고차원 공간의 데이터를 퍼지 위상 표현(fuzzy topological representation)으로 모델링하고, 저차원 공간에서 이와 유사한 표현을 찾습니다.
3. 그래프 기반 접근: 데이터를 가중치가 있는 그래프로 변환하여 작업합니다.

UMAP의 작동 원리

UMAP 알고리즘의 주요 단계는 다음과 같습니다:

1. k-최근접 이웃 그래프 구성

• 각 데이터 포인트에 대해 k-최근접 이웃을 찾습니다.
• 이웃 간의 거리를 기반으로 가중치가 있는 그래프를 구성합니다.

2. 퍼지 위상 표현 구축

• 각 데이터 포인트 주변의 국소적 매니폴드 형태를 모델링합니다.
• 이웃 간의 연결 강도를 거리의 지수 함수로 계산합니다.

3. 저차원 임베딩 초기화

• 스펙트럴 기법이나 랜덤 투영을 사용하여 저차원 공간에 초기 레이아웃을 생성합니다.

4. 최적화

• 가중치가 있는 그래프 구조를 보존하는 저차원 표현을 찾기 위해 확률적 경사 하강법을 사용합니다.
• 교차 엔트로피 손실 함수를 최소화합니다.

UMAP의 장점

1. 계산 효율성: t-SNE보다 훨씬 빠르며, 대규모 데이터셋에도 적용 가능합니다.
2. 확장성: 계산 복잡도가 O(n log n)으로, 대규모 데이터에 더 적합합니다.
3. 전역 및 국소 구조 보존: t-SNE보다 전역 구조를 더 잘 보존하면서도 국소적 관계도 유지합니다.
4. 이론적 기반: 리만 기하학과 대수적 위상수학에 기반한 탄탄한 이론적 근거를 가지고 있습니다.
5. 새로운 데이터 투영 가능: 학습된 변환을 새로운 데이터에 적용할 수 있습니다(transform 메서드 제공).
6. 매개변수 유연성: 국소적 구조와 전역적 구조 사이의 균형을 조정하는 매개변수를 제공합니다.

UMAP의 한계

1. 복잡한 이론: 기본 이론이 복잡하여 직관적으로 이해하기 어려울 수 있습니다.
2. 매개변수 조정: 최적의 결과를 위해 여러 매개변수를 조정해야 할 수 있습니다.
3. t-SNE보다 덜 직관적인 클러스터링: 때로는 t-SNE가 클러스터를 더 명확하게 시각화할 수 있습니다.
4. 확률적 특성: t-SNE와 마찬가지로 확률적 특성으로 인해 재현성이 제한적입니다.

t-SNE와 UMAP 비교

t-SNE와 UMAP은 모두 고차원 데이터 시각화를 위한 강력한 도구이지만, 몇 가지 중요한 차이점이 있습니다:

1. 계산 효율성

• t-SNE: O(n²) 복잡도로, 대규모 데이터셋에서 느립니다.
• UMAP: O(n log n) 복잡도로, 대규모 데이터셋에서 훨씬 빠릅니다.

2. 구조 보존

• t-SNE: 국소적 구조를 매우 잘 보존하지만, 전역 구조는 종종 왜곡됩니다.
• UMAP: 국소적 구조와 전역적 구조 모두를 더 균형있게 보존합니다.

3. 이론적 기반

• t-SNE: 확률 분포의 유사성에 기반합니다.
• UMAP: 리만 기하학과 위상수학에 기반한 더 탄탄한 이론적 토대를 가집니다.

4. 매개변수

• t-SNE: 주로 perplexity 매개변수에 의존합니다.
• UMAP: n_neighbors, min_dist 등 더 다양한 매개변수를 제공하여 더 세밀한 조정이 가능합니다.

5. 새로운 데이터 투영

• t-SNE: 새로운 데이터 포인트를 기존 임베딩에 추가하기 어렵습니다.
• UMAP: transform 메서드를 통해 새로운 데이터를 기존 임베딩에 투영할 수 있습니다.

t-SNE와 UMAP의 실제 응용 사례

1. 단일 세포 RNA 시퀀싱(scRNA-seq) 데이터 분석

생물정보학에서 t-SNE와 UMAP은 세포 유형을 식별하고 분류하는 데 널리 사용됩니다. 수만 개의 유전자 발현 데이터를 2D로 축소하여 세포 클러스터를 시각화합니다.

2. 이미지 데이터셋 시각화

MNIST, Fashion-MNIST, CIFAR와 같은 이미지 데이터셋을 시각화하여 유사한 이미지들이 어떻게 그룹화되는지 파악합니다. 이는 딥러닝 모델의 특성 추출 능력을 이해하는 데 도움이 됩니다.

3. 자연어 처리 및 문서 클러스터링

단어 임베딩이나 문서 임베딩을 시각화하여 의미적으로 유사한 단어나 문서가 어떻게 군집을 이루는지 파악합니다. 이는 토픽 모델링이나 문서 분류 작업에 유용한 통찰력을 제공합니다.

4. 약물 발견 및 분자 특성 분석

화학 공간에서 분자 구조의 유사성을 시각화하여 새로운 약물 후보를 탐색하거나, 기존 약물의 특성을 이해하는 데 활용됩니다.

5. 고객 세분화 및 행동 분석

고객 데이터를 시각화하여 자연스러운 고객 세그먼트를 발견하고, 마케팅 전략을 수립하는 데 활용합니다.

t-SNE와 UMAP 최적화 전략

t-SNE 최적화 전략

1. 초기화 방법 선택
   • PCA로 초기화하면 무작위 초기화보다 일반적으로 더 좋은 결과를 얻습니다.
   • 이는 실행 시간을 줄이고 더 안정적인 결과를 제공합니다.
2. Perplexity 조정
   • Perplexity는 각 데이터 포인트가 고려하는 '유효 이웃 수'로 이해할 수 있습니다.
   • 일반적으로 5-50 사이의 값이 사용되며, 데이터셋 크기에 따라 조정합니다.
   • 작은 데이터셋에는 작은 perplexity, 큰 데이터셋에는 큰 perplexity가 적합합니다.
3. 반복 횟수 조정
   • 충분한 반복 횟수(일반적으로 1000회 이상)를 사용하여 임베딩이 수렴하도록 합니다.
   • 초기 단계에서는 학습률을 높게, 후기 단계에서는 낮게 설정하는 것이 좋습니다.
4. Barnes-Hut 근사 활용
   • 대규모 데이터셋의 경우, Barnes-Hut 근사법을 사용하여 계산 효율성을 높입니다.
   • 이는 O(n²)를 O(n log n)으로 줄여줍니다.

UMAP 최적화 전략

1. n_neighbors 매개변수 조정
   • 작은 값(5-15)은 국소적 구조를 강조하고, 큰 값(50-100)은 전역적 구조를 더 잘 보존합니다.
   • 클러스터 식별이 목적이라면 작은 값을, 전체적인 데이터 구조 파악이 목적이라면 큰 값을 사용합니다.
2. min_dist 매개변수 조정
   • 이 값은 임베딩에서 점들이 얼마나 조밀하게 패킹될 수 있는지 제어합니다.
   • 작은 값(0.1 이하)은 조밀한 클러스터를, 큰 값(0.5 이상)은 더 분산된 레이아웃을 만듭니다.
3. metric 선택
   • 데이터 유형에 적합한 거리 측정 방법을 선택합니다.
   • 연속형 데이터에는 유클리드 거리, 범주형 데이터에는 해밍 거리, 텍스트 데이터에는 코사인 거리 등이 적합합니다.
4. random_state 고정
   • 재현 가능한 결과를 위해 random_state를 고정합니다.
5. 변환 함수 활용
   • 새로운 데이터가 주기적으로 추가되는 경우, fit_transform 대신 fit과 transform을 분리하여 사용합니다.

차원 축소 기법의 조합: 최상의 결과를 위한 전략

실제 분석 작업에서는 단일 차원 축소 기법만 사용하기보다 여러 기법을 조합하여 사용하는 것이 효과적일 수 있습니다:

1. PCA + t-SNE/UMAP

• 먼저 PCA를 사용하여 수백 또는 수천 차원의 데이터를 수십 차원으로 축소합니다.
• 그 다음 t-SNE나 UMAP을 적용하여 2D 또는 3D로 시각화합니다.
• 이 접근법은 계산 효율성을 높이고 노이즈를 줄이는 효과가 있습니다.

2. 다양한 차원 축소 결과 비교

• PCA, t-SNE, UMAP의 결과를 나란히 비교하여 데이터 구조의 다양한 측면을 이해합니다.
• PCA는 전역 구조를, t-SNE는 국소적 클러스터를, UMAP은 그 중간 특성을 보여줍니다.

3. 앙상블 접근법

• 여러 차원 축소 기법의 결과를 결합하여 더 견고한 시각화를 얻을 수 있습니다.
• 예를 들어, 여러 매개변수 설정의 UMAP 결과를 평균화하여 더 안정적인 임베딩을 생성할 수 있습니다.

결론: 데이터 시각화의 혁명적 도구

t-SNE와 UMAP은 고차원 데이터 시각화와 탐색을 위한 혁명적인 도구입니다. 이 두 알고리즘은 복잡한 데이터의 숨겨진 패턴과 구조를 직관적으로 이해할 수 있게 해주며, 특히 데이터의 클러스터 구조를 발견하는 데 탁월한 성능을 보입니다.

t-SNE는 국소적 구조 보존에 강점이 있어 명확한 클러스터 시각화가 필요할 때 적합하지만, 계산 비용이 높고 대규모 데이터셋에는 제한적입니다. 반면 UMAP은 더 빠르고 확장성이 높으며, 국소적 구조와 전역적 구조 모두를 더 균형 있게 보존한다는 장점이 있습니다.

어떤 알고리즘이 더 적합한지는 구체적인 사용 사례, 데이터 크기, 그리고 가장 중요하게 보존하고자 하는 데이터 특성에 따라 달라집니다. 두 알고리즘 모두 데이터 과학자의 도구 상자에 필수적인 도구이며, 데이터의 다양한 측면을 이해하기 위해 함께 사용될 때 가장 큰 가치를 발휘합니다.

고차원 데이터 세계를 탐험하는 과정에서 이 두 가지 강력한 도구는 복잡성 속에서 패턴을 찾고, 혼돈 속에서 질서를 발견하는 데 도움을 주는 현대 데이터 과학의 핵심 기술로 계속해서 발전하고 있습니다.