비지도 학습

비지도 학습(unsupervised learning)은 비지도 머신러닝이라고도 하며, 레이블이 없는 데이터셋에 알고리즘을 학습시켜 데이터 내부의 패턴이나 관계를 스스로 발견하도록 하는 머신러닝(ML) 기법입니다. 지도 학습이 입력 데이터와 그에 대응하는 정답(레이블)이 있는 데이터에 모델을 학습시키는 것과 달리, 비지도 학습은 정답이 무엇인지 미리 알 수 없는 상태에서 데이터 내의 패턴과 관계를 찾아냅니다.

비지도 학습의 주요 특징

• 레이블 없는 데이터: 비지도 학습 모델에 사용되는 데이터는 레이블이 없어, 입력 데이터에 미리 정의된 카테고리나 정답이 없습니다.
• 패턴 발견: 주요 목적은 데이터 내에 숨겨진 패턴, 그룹, 구조를 발견하는 것입니다.
• 탐색적 분석: 주로 데이터의 기초 구조를 이해하고, 패턴을 찾거나 이상값을 탐지하며, 시각화 도구를 통해 데이터 품질을 향상시키는 탐색적 데이터 분석에 활용됩니다.

주요 활용 사례

비지도 학습은 다양한 분야에서 폭넓게 활용됩니다. 예를 들면:

• 고객 세분화: 구매 행동이나 인구 통계 정보를 기준으로 고객을 그룹화하여 마케팅 효과를 높입니다.
• 이미지 인식: 미리 정의된 레이블 없이 이미지 내의 객체를 식별하고 분류합니다.
• 이상 탐지: 데이터에서 비정상적인 패턴이나 이상값을 탐지해, 이상 거래 탐지나 예지 보전에 활용합니다.
• 장바구니 분석: 함께 구매되는 상품 간의 연관 관계를 찾아, 재고 관리와 교차 판매 전략에 활용합니다.

비지도 학습의 주요 방법

클러스터링

클러스터링은 유사한 데이터끼리 그룹화하는 방법입니다. 대표적인 클러스터링 알고리즘은 다음과 같습니다.

• K-평균 클러스터링(K-Means Clustering): 데이터 포인트와 클러스터 중심점(centroid) 간의 거리를 기준으로 데이터를 K개의 군집으로 나눕니다.
• 계층적 클러스터링(Hierarchical Clustering): 작은 군집을 점진적으로 합치거나(병합적), 큰 군집을 점진적으로 분할(분할적)하여 군집의 계층 구조를 만듭니다.

연관 규칙

연관 규칙 알고리즘은 데이터 내에서 자주 함께 나타나는 항목의 규칙을 발견합니다. 대표적인 예로 장바구니 분석이 있으며, 다양한 상품 간의 연관성을 찾아냅니다.

차원 축소

차원 축소 기법은 고려해야 할 변수의 수를 줄여, 데이터의 구조를 더 쉽게 파악할 수 있도록 돕습니다. 예시는 다음과 같습니다.

• 주성분 분석(PCA): 데이터의 분산을 최대한 보존하는 새로운 축(주성분)으로 변환합니다.
• 오토인코더(Autoencoder): 입력 데이터를 효율적으로 인코딩하는 신경망으로, 특징 추출 등 다양한 용도로 사용됩니다.

비지도 학습의 작동 방식

비지도 학습의 전형적인 단계는 다음과 같습니다.

1. 데이터 수집: 텍스트, 이미지, 거래 데이터 등 구조화되지 않은 대규모 데이터셋을 수집합니다.
2. 전처리: 분석에 적합하도록 데이터를 정제하고 정규화합니다.
3. 알고리즘 선택: 데이터 유형과 목적에 맞는 적절한 비지도 학습 알고리즘을 선정합니다.
4. 모델 학습: 레이블 없이 데이터셋을 학습시킵니다.
5. 패턴 발견: 모델의 결과를 분석하여 패턴, 군집, 연관성을 파악합니다.

장점과 과제

장점

• 레이블 데이터 불필요: 데이터 레이블링에 드는 시간과 비용을 줄일 수 있습니다.
• 탐색적 분석: 데이터에서 숨겨진 패턴을 발견하고 인사이트를 얻는 데 유용합니다.

과제

• 해석의 어려움: 비지도 학습의 결과는 해석이 어려운 경우가 많습니다.
• 확장성 문제: 일부 알고리즘은 매우 큰 데이터셋에서는 성능이 저하될 수 있습니다.
• 평가의 어려움: 레이블이 없기 때문에 모델의 성능을 정확하게 평가하기 어렵습니다.