다변량 데이터 탐색

1. 종속변수와 독립변수의 관계

종속변수 (Dependent Variable, Y)

다른 변수들에 의해 영향을 받는 변수
예측하거나 설명하고 싶은 대상
반응변수, 목적변수라고도 부름

독립변수 (Independent Variable, X)

종속변수에 영향을 준다고 가정하는 변수
설명변수, 예측변수라고도 부름

관계의 성격

상관관계는 “함께 움직이는 정도”만 나타냄
회귀분석은 “독립변수가 변할 때 종속변수가 얼마나 변하는지”를 수식으로 설명하고 예측함
단, 회귀분석 결과만으로 인과관계를 단정할 수는 없음 (실험설계나 도메인 지식이 필요)

2. 다중회귀분석이란?

독립변수가 2개 이상일 때 사용하는 회귀분석입니다.

단순회귀: $ Y = \beta_0 + \beta_1 X + \varepsilon $
다중회귀: $ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p + \varepsilon $

3. 다중회귀의 일반 형식

$Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \cdots + \beta_p X_{ip} + \varepsilon_i$

$ Y_i $: $ i $번째 관측치의 종속변수
$ \beta_0 $: 절편 (모든 독립변수가 0일 때 Y의 기댓값)
$ \beta_j $: $ j $번째 독립변수의 회귀계수 (다른 변수를 고정했을 때 $ X_j $가 1단위 증가하면 Y가 $ \beta_j $만큼 변함)
$ \varepsilon_i $: 오차항 (설명되지 않는 부분)

행렬로 표현하면:

$\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$

4. 다중회귀분석의 장점과 단점

장점

여러 요인을 동시에 고려할 수 있음
각 독립변수의 영향력을 통제된 상태에서 파악 가능 (다른 변수 효과를 제거)
예측력이 단순회귀보다 일반적으로 높음
변수의 상대적 중요도를 비교할 수 있음
결과를 수식으로 명확히 표현 가능 → 해석과 보고가 용이

단점

다중공선성 문제가 발생하기 쉬움 (독립변수들끼리 상관이 높을 때)
가정이 많아 가정이 깨지면 결과가 왜곡됨
변수 선택에 따라 결과가 달라질 수 있음
인과관계로 해석하기 쉬우나 실제로는 관찰 연구인 경우가 많음
이상치와 영향점(influential point)에 민감

5. 다중회귀분석의 기본 가정

회귀분석 결과가 신뢰되기 위한 주요 가정입니다.

가정내용확인 방법위반 시 문제

선형성	종속변수와 독립변수 관계가 선형	산점도, 잔차도	계수 해석 왜곡
독립성	오차항들이 서로 독립	Durbin-Watson 검정	표준오차 왜곡
등분산성	오차의 분산이 일정	잔차 vs 예측값 산점도	추론의 효율성·타당성 저하
정규성	오차항이 정규분포	Q-Q plot, 정규성 검정	신뢰구간·가설검정 오류
다중공선성 없음	독립변수들 간 상관이 낮음	VIF, 상관행렬	계수 추정이 불안정
오차의 기댓값 0	E(ε)=0 E(\varepsilon) = 0	잔차 평균 확인	편향된 추정

6. 다중회귀분석의 기본 과정

연구 문제와 변수 설정
- 종속변수와 독립변수를 명확히 정의
- 도메인 지식을 바탕으로 후보 변수 선정
데이터 탐색 (EDA)
- 기술통계, 산점도 행렬, 상관분석
- 이상치·결측치 확인
모형 설정
- 어떤 변수를 넣을 것인지 결정 (전체 모형, 변수 선택 등)
모형 추정
- 최소제곱법(OLS)으로 회귀계수 추정
모형 진단
- 잔차 분석 (선형성, 등분산성, 정규성, 독립성)
- 다중공선성 검토 (VIF)
- 영향점·이상치 검토 (Cook’s distance 등)
모형 수정
- 필요 시 변수 변환, 변수 제거/추가, 이상치 처리
결과 해석 및 예측
- 계수 해석, 가설 검정, 설명력 평가, 예측

7. 주요 분석 방법과 해석 지표

(1) 회귀계수의 유의성 검정 (t-검정)

$ H_0: \beta_j = 0 $
해당 변수가 종속변수에 유의한 영향을 주는지 검정

(2) 모형의 전반적 유의성 (F-검정)

$ H_0: \beta_1 = \beta_2 = \cdots = \beta_p = 0 $
모형 전체가 의미가 있는지 검정

(3) 설명력

$ R^2 $: 종속변수 변동 중 모형이 설명하는 비율
조정 R$ R^2 $: 독립변수 개수에 대해 보정한 설명력 (변수 추가 시 불리하게 작용)
AIC, BIC: 모형 비교 시 선호되는 정보량 기준

(4) 다중공선성 진단

VIF (Variance Inflation Factor): 10 이상이면 문제가 있다고 판단하는 경우가 많음
상관행렬에서 독립변수 간 상관계수가 매우 높으면 의심

(5) 잔차 분석

잔차 산점도, Q-Q plot, Scale-Location plot 등을 통해 가정 검토

8. 변수 선택 방법

전진 선택 (Forward)
후진 제거 (Backward)
단계적 선택 (Stepwise)
정보량 기준: AIC, BIC가 가장 낮은 모형 선택
정규화 방법: LASSO, Ridge, Elastic Net (변수를 자동으로 축소·선택)

9. 실무에서 자주 발생하는 문제와 대처

문제대처 방법

다중공선성	변수 제거, 주성분회귀, Ridge 회귀
등분산성 위반	로그 변환, 가중최소제곱법, 강건 표준오차
정규성 위반	변수 변환, 부트스트랩, 일반화선형모형
비선형 관계	다항회귀, 스플라인, 변수 변환
이상치·영향점	제거 여부 검토, 강건 회귀

10. 요약

다중회귀분석은 여러 독립변수가 하나의 종속변수에 미치는 영향을 동시에 분석하는 가장 기본적인 다변량 방법입니다.

장점: 여러 요인을 통제하면서 개별 효과를 볼 수 있음
단점: 가정에 민감하고 다중공선성 문제가 자주 발생
핵심 가정: 선형성, 독립성, 등분산성, 정규성, 다중공선성 없음
분석은 탐색 → 추정 → 진단 → 수정 → 해석의 과정을 거치는 것이 중요

로지스틱 회귀 모형 (Logistic Regression)

1. 로지스틱 회귀란?

종속변수가 범주형(특히 이진형)일 때 사용하는 회귀 모형입니다.

가장 기본적인 형태는 이진 분류 (0 또는 1, 성공/실패, 이탈/잔존, 질병/정상 등)
선형 회귀처럼 독립변수의 영향을 분석하면서, 동시에 분류 모델로도 사용
“회귀”라는 이름이 붙었지만 실제로는 분류에 더 많이 쓰임

2. 왜 선형 회귀를 쓰지 못하는가?

선형 회귀로 이진 결과를 예측하면 다음과 같은 문제가 발생합니다.

예측값이 0과 1을 벗어날 수 있음 (확률이 음수이거나 1 이상이 됨)
오차항이 정규분포를 따르지 않음
등분산성 가정이 깨짐
확률의 변화를 직선으로 모델링하는 것이 부자연스러움

그래서 확률을 0~1 사이로 압축해주는 함수가 필요합니다.

3. 로지스틱 회귀의 핵심 아이디어

(1) 승산 (Odds)

$\text{Odds} = \frac{p}{1-p}$

$ p $: 사건(예: 이탈)이 발생할 확률
승산 2.0 → 사건이 일어날 가능성이 일어나지 않을 가능성의 2배

(2) 로짓 (Logit) 변환

$\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \ln(\text{Odds})$

로짓은 $ -\infty $에서 $ +\infty $까지의 범위를 가집니다.
이 로짓을 선형 회귀처럼 독립변수의 조합으로 설명합니다.

$\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p$

(3) 로지스틱 함수 (시그모이드 함수)

위 식을 p p 에 대해 풀면:

p=11+e−(β0+β1X1+⋯+βpXp)=σ(Xβ)p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p)}} = \sigma(\mathbf{X}\boldsymbol{\beta})

이 함수가 S자 곡선을 그리며, 어떤 입력값이 들어와도 결과가 반드시 0과 1 사이로 나옵니다.

4. 회귀계수의 해석

로지스틱 회귀에서 $  \beta  $의 해석은 선형 회귀와 다릅니다.

$  \beta_j > 0  $: 해당 변수가 증가하면 사건 발생 확률이 증가
$  \beta_j < 0  $: 해당 변수가 증가하면 사건 발생 확률이 감소

더 정확한 해석 – 승산비 (Odds Ratio)

$e^{\beta_j}$

$ e^{\beta_j} $는 다른 변수를 고정했을 때, $ X_j $가 1단위 증가하면 승산이 몇 배가 되는지를 나타냄
예: $ e^{\beta} = 1.5 $ → 그 변수가 1 증가할 때 사건 발생 승산이 1.5배가 됨
$ e^{\beta} = 0.7 $ → 승산이 30% 감소

5. 모형 추정 방법

선형 회귀는 최소제곱법(OLS)을 사용하지만, 로지스틱 회귀는 최대우도법 (Maximum Likelihood Estimation, MLE)을 사용합니다.

관측된 데이터가 나올 가능성을 가장 크게 만드는 β \beta 를 찾음
보통 경사하강법이나 뉴턴-랩슨 등의 최적화 알고리즘으로 추정
정규방정식처럼 닫힌 해(closed-form)가 존재하지 않음

6. 로지스틱 회귀의 주요 가정

가정내용

종속변수의 형태	이진형(또는 범주형)
선형성	독립변수와 로짓 사이에 선형 관계가 있어야 함
독립성	관측치들이 서로 독립
다중공선성 없음	독립변수 간 상관이 높지 않아야 함
이상치에 주의	영향점이 결과에 큰 영향을 줄 수 있음
표본 크기	너무 작으면 추정이 불안정 (특히 사건 수가 적을 때)

※ 잔차의 정규성이나 등분산성 가정은 하지 않음

7. 모형 평가 지표

로지스틱 회귀는 분류 모델이므로 회귀 지표($ R^2 $) 대신 분류 지표를 주로 사용합니다.

지표의미특징

정확도 (Accuracy)	전체 중 맞게 예측한 비율	불균형 데이터에서 위험
정밀도 (Precision)	양성 예측 중 실제 양성 비율	거짓 양성 비용이 클 때 중요
재현율 (Recall)	실제 양성 중 찾아낸 비율	거짓 음성 비용이 클 때 중요
F1-Score	정밀도와 재현율의 조화평균	불균형 데이터에서 유용
ROC-AUC	임계값 변화에 따른 성능	전반적인 분류 성능
PR-AUC	정밀도-재현율 곡선 아래 면적	극심한 불균형에서 더 적합
혼동 행렬	실제와 예측의 교차표	가장 기본적인 확인 수단

임계값(Threshold) 기본적으로 0.5를 사용하지만, 문제에 따라 조정할 수 있습니다. (예: 암 진단에서는 재현율을 높이기 위해 임계값을 낮춤)

8. 장점과 단점

장점

결과를 확률로 바로 해석 가능
계수를 승산비로 해석할 수 있어 설명력이 좋음
구현이 쉽고 계산이 빠름
과적합이 상대적으로 적음 (선형 모델의 특성)
변수 중요도와 방향성을 명확히 알 수 있음

단점

선형적인 로짓 관계만 모델링 가능 (복잡한 비선형 관계는 못 잡음)
이상치에 영향을 받을 수 있음
다중공선성에 민감
범주가 많아지거나 데이터가 복잡하면 성능이 트리/부스팅 모델에 밀림
사건 발생 비율이 극단적으로 낮으면 추정이 불안정

9. 확장된 로지스틱 회귀

종류사용 상황

다항 로지스틱 회귀 (Multinomial)	종속변수가 3개 이상의 범주이고 순서가 없을 때
순서 로지스틱 회귀 (Ordinal)	종속변수에 순서가 있을 때 (예: 만족도 1~5)
정규화 로지스틱	L1(Lasso), L2(Ridge) 페널티를 넣어 과적합 방지와 변수 선택

10. 실무 활용 시 중요 포인트

클래스 불균형이 심하면 class_weight 조정이나 샘플링 기법 고려
범주형 변수는 적절히 인코딩 (One-Hot, Target Encoding 등)
수치형 변수는 스케일링이 꼭 필요하지는 않지만, 정규화를 하면 수렴이 안정적
다중공선성 확인 (VIF)
계수 해석 시 반드시 다른 변수를 통제한 상태의 효과임을 명시
예측 성능과 해석력 중 어떤 것이 더 중요한지 목적에 따라 모델 선택

11. 한 줄 요약

로지스틱 회귀는 종속변수가 이진(또는 범주)형일 때, 로짓(로그 승산)을 선형 조합으로 설명하여 사건 발생 확률을 예측하고 해석하는 모델입니다.

확률과 승산비로 결과가 나와 해석이 뛰어남
가정이 비교적 적고 안정적
복잡한 비선형 패턴을 잡는 데는 한계가 있음

분산분석 (ANOVA, Analysis of Variance)

분산분석은 세 개 이상 집단의 평균 차이를 검정하는 통계 기법입니다.

1. 분산분석의 기본 원리

핵심 아이디어는 다음과 같습니다.

“전체 데이터의 변동(분산)을 집단 간 변동과 집단 내 변동으로 나누어, 집단 간 변동이 집단 내 변동보다 충분히 큰지를 본다.”

집단 간 변동 (Between-group variance): 집단 평균들이 전체 평균으로부터 얼마나 떨어져 있는가 → 처리 효과(진짜 차이)를 반영
집단 내 변동 (Within-group variance): 각 집단 안에서 데이터들이 해당 집단 평균으로부터 얼마나 퍼져 있는가 → 오차(개인차, 측정오차 등)를 반영

이 둘의 비율로 F 통계량을 만듭니다.

$F = \frac{\text{집단 간 분산}}{\text{집단 내 분산}} = \frac{MS_{Between}}{MS_{Within}}$

F값이 충분히 크면 → 집단 간 차이가 오차보다 크다 → 평균 차이가 유의하다고 판단

2. 왜 t-검정을 여러 번 하지 않는가?

집단이 3개 이상일 때 두 집단씩 t-검정을 반복하면 1종 오류(Type I Error)가 급격히 증가합니다.

예: 집단 4개 → 비교 횟수 6번
각 검정의 유의수준이 0.05일 때, 전체적으로 오류가 발생할 확률이 훨씬 커짐

분산분석은 한 번의 검정으로 전체 집단 간 차이 여부를 먼저 확인한 후, 필요할 때만 사후검정(Post-hoc)을 진행합니다.

3. 분산분석의 주요 종류와 특징

(1) 일원배치 분산분석 (One-way ANOVA)

요인(독립변수)이 1개일 때 사용
예: 비료 종류(A, B, C)에 따른 작물 수확량 차이

특징

가장 기본적인 형태
집단 간 평균 차이만 검정
가정: 정규성, 등분산성, 독립성

(2) 이원배치 분산분석 (Two-way ANOVA)

요인이 2개일 때 사용
예: 비료 종류 + 햇볕 양에 따른 수확량

특징

각 요인의 주효과와 두 요인의 상호작용 효과를 동시에 검정
상호작용이 유의하면 주효과 해석에 주의해야 함
반복 측정 여부에 따라 설계가 달라짐

(3) 다원배치 분산분석 (Multi-way ANOVA)

요인이 3개 이상인 경우
해석이 복잡해지며, 상호작용 항이 많아짐

(4) 반복측정 분산분석 (Repeated Measures ANOVA)

같은 대상에게 여러 번 측정한 데이터
예: 동일한 환자에게 약 복용 전·중·후 혈압 측정

특징

개체 내 요인을 다룸
구형성(Sphericity) 가정이 추가로 필요

(5) 공분산분석 (ANCOVA)

분산분석에 공변량(covariate)을 추가
예: 교육 방법 효과를 볼 때 사전 점수를 통제

특징

외생 변수의 영향을 통계적으로 제거하여 더 정확한 비교 가능

(6) 다변량 분산분석 (MANOVA)

종속변수가 2개 이상일 때 사용
예: 교육 방법이 수학 점수와 과학 점수에 미치는 영향을 동시에 검정

4. 분산분석의 기본 가정

가정내용확인 방법위반 시 대안

독립성	각 관측치가 서로 독립	연구 설계	혼합모형 등
정규성	각 집단의 데이터가 정규분포	Q-Q plot, Shapiro-Wilk	비모수 검정 (Kruskal-Wallis)
등분산성	집단 간 분산이 동일	Levene 검정, Bartlett 검정	Welch ANOVA, 변수 변환

5. 분산분석 결과 해석 흐름

F-검정 결과 확인
- 유의하면 → 적어도 한 집단의 평균이 다르다
- 유의하지 않으면 → 집단 간 평균 차이 없음
사후검정 (Post-hoc Test) 실시
- 어느 집단과 어느 집단이 다른지 구체적으로 확인
- 대표적 방법:
  - Tukey HSD (가장 많이 사용)
  - Bonferroni
  - Scheffe
  - Dunnett (대조군과 비교할 때)
  - Games-Howell (등분산성 위반 시)
효과 크기 확인
- $ \eta^2 $ (에타 제곱), $ \omega^2 $ 등으로 차이의 실질적 크기 판단

6. 분산분석의 장단점

장점

여러 집단을 한 번에 비교 가능
1종 오류를 통제하면서 검정
요인이 여러 개일 때 상호작용까지 분석 가능
실험설계와 잘 맞음

단점

가정(특히 등분산성·정규성)에 민감
어느 집단이 다른지는 사후검정이 추가로 필요
인과 해석은 실험설계가 잘 되었을 때만 가능

7. 요약

구분내용

핵심 원리	전체 변동을 집단 간/집단 내로 나누고 F값으로 비교
주요 사용	3개 이상 집단의 평균 차이 검정
기본 종류	일원, 이원, 반복측정, ANCOVA, MANOVA
핵심 가정	독립성, 정규성, 등분산성
후속 분석	사후검정으로 구체적 차이 확인

1. 공분산과 독립성의 관계

핵심 관계

독립이면 → 공분산은 반드시 0이다. (상관도 0)
공분산이 0이라고 해서 → 반드시 독립인 것은 아니다.

즉, 독립성 ⇒ 공분산 = 0 (항상 성립) 공분산 = 0 ⇒ 독립성 (항상 성립하지 않음)

예외적으로 성립하는 경우

두 변수가 이변량 정규분포를 따를 때는 공분산(상관)이 0이면 독립이 성립한다.

그 외의 분포에서는 비선형 관계가 있어도 공분산이 0이 될 수 있다. (예: Y=X2 Y = X^2 형태에서 X가 대칭 분포일 때)

2. 두 확률분포(변수) 간의 독립성 확인 방법

(1) 분포의 독립성 정의로 확인

두 확률변수 X X , Y Y 가 독립이라는 정의:

P(X≤a,Y≤b)=P(X≤a)⋅P(Y≤b)P(X \leq a, Y \leq b) = P(X \leq a) \cdot P(Y \leq b)

또는 확률밀도/질량함수로:

fX,Y(x,y)=fX(x)⋅fY(y)f_{X,Y}(x,y) = f_X(x) \cdot f_Y(y)

이 등식이 성립하는지 확인하는 것이 가장 근본적인 방법이다. 실제 데이터에서는 직접 확인하기 어렵기 때문에 아래 방법들을 사용한다.

(2) 공분산 및 상관계수 확인

공분산이나 피어슨 상관계수가 0에 가까운지 확인
0이면 “무상관”이라고 말할 수 있지만, 독립이라고 단정할 수 없음
스피어만 상관이나 상호정보량(Mutual Information)을 함께 보면 비선형 관계까지 어느 정도 파악 가능

(3) 독립성 검정

방법특징사용 상황

카이제곱 독립성 검정	범주형 변수 간 독립성 검정	교차표 데이터
Pearson 상관 검정	상관계수가 0인지 검정	연속형, 선형 관계
Spearman 상관 검정	순위 기반 독립성(무상관) 검정	비정규, 비선형 단조
거리상관 (Distance Correlation)	비선형 관계까지 포착	일반적인 독립성 확인
상호정보량 기반 검정	정보 이론 관점의 독립성	복잡한 의존성
HSIC 검정 등	고차원·비선형 독립성 검정	고급 분석

실무에서는 산점도를 먼저 보고, 상관분석 + 카이제곱 검정(범주형)을 기본으로 사용한다.

3. 변수 축약 (차원 축소) 기법

여러 변수 사이의 정보를 유지하면서 변수 개수를 줄이는 방법이다.

(1) 주성분 분석 (PCA, Principal Component Analysis)

목적: 분산을 최대한 보존하면서 차원을 축소

특징

전체 분산을 기준으로 새로운 축(주성분)을 만듦
주성분들은 서로 직교(상관 0)
해석보다는 데이터 압축·노이즈 제거·시각화에 초점
가정이 적고 계산이 비교적 간단

사용 상황

다중공선성 제거
고차원 데이터 시각화
회귀나 군집분석 전 전처리

(2) 요인분석 (Factor Analysis)

목적: 관측된 변수들 뒤에 있는 잠재 요인(공통 요인)을 찾음

특징

공통분산만 분석 (고유분산·오차는 제외)
“왜 변수들이 서로 상관되어 있는가?”에 대한 답을 찾음
요인 회전을 통해 해석력을 높임
탐색적 요인분석(EFA)과 확인적 요인분석(CFA)으로 나뉨

사용 상황

설문 문항의 구성 타당도 검증
심리·교육·마케팅에서 잠재 구조 파악
변수들을 의미 있는 소수 요인으로 축약

(3) 정준상관분석 (CCA, Canonical Correlation Analysis)

목적: 두 변수 세트 사이의 관계를 최대화하는 선형 조합을 찾음

특징

PCA나 요인분석이 한 집단의 변수를 축약하는 반면, CCA는 두 집단의 변수 간 상관을 분석
정준변수 쌍을 만들고, 그 사이의 상관(정준상관계수)을 최대화
다변량 회귀의 일반화로 볼 수 있음

사용 상황

심리적 특성 세트 vs 행동 특성 세트
마케팅에서 고객 인식 변수 그룹 vs 구매 행동 변수 그룹
두 다변량 데이터 세트 간의 관계 탐색

4. 세 가지 변수 축약 기법 비교

구분주성분 분석 (PCA)요인분석 (FA)정준상관분석 (CCA)

목적	분산 최대 보존하며 축약	잠재 공통요인 탐색	두 변수 집단 간 상관 최대화
분석 대상	한 변수 집단	한 변수 집단	두 변수 집단
초점	전체 분산	공통 분산	집단 간 상관
결과물	주성분	요인	정준변수 쌍
주요 사용	차원축소, 시각화	구조 탐색, 타당도	두 다변량 세트 관계

요약

공분산 = 0은 독립성을 보장하지 않는다. (독립 ⇒ 공분산 0만 항상 참)
독립성 확인은 정의, 상관/공분산, 그리고 적절한 독립성 검정을 통해 수행
변수 축약 기법:
- PCA: 분산 기준 축약
- 요인분석: 잠재 요인 탐색
- 정준상관분석: 두 변수 그룹 간 관계 분석

1. 공분산과 독립성의 관계

핵심 관계

독립이면 → 공분산은 반드시 0이다. (상관도 0)
공분산이 0이라고 해서 → 반드시 독립인 것은 아니다.

즉, 독립성 ⇒ 공분산 = 0 (항상 성립) 공분산 = 0 ⇒ 독립성 (항상 성립하지 않음)

예외적으로 성립하는 경우

두 변수가 이변량 정규분포를 따를 때는 공분산(상관)이 0이면 독립이 성립한다.

그 외의 분포에서는 비선형 관계가 있어도 공분산이 0이 될 수 있다. (예: $ Y = X^2 $ 형태에서 X가 대칭 분포일 때)

2. 두 확률분포(변수) 간의 독립성 확인 방법

(1) 분포의 독립성 정의로 확인

두 확률변수 $ X $, $ Y $가 독립이라는 정의:

$P(X \leq a, Y \leq b) = P(X \leq a) \cdot P(Y \leq b)$

또는 확률밀도/질량함수로:

fX,Y(x,y)=fX(x)⋅fY(y)f_{X,Y}(x,y) = f_X(x) \cdot f_Y(y)

이 등식이 성립하는지 확인하는 것이 가장 근본적인 방법이다. 실제 데이터에서는 직접 확인하기 어렵기 때문에 아래 방법들을 사용한다.

(2) 공분산 및 상관계수 확인

공분산이나 피어슨 상관계수가 0에 가까운지 확인
0이면 “무상관”이라고 말할 수 있지만, 독립이라고 단정할 수 없음
스피어만 상관이나 상호정보량(Mutual Information)을 함께 보면 비선형 관계까지 어느 정도 파악 가능

(3) 독립성 검정

방법특징사용 상황

카이제곱 독립성 검정	범주형 변수 간 독립성 검정	교차표 데이터
Pearson 상관 검정	상관계수가 0인지 검정	연속형, 선형 관계
Spearman 상관 검정	순위 기반 독립성(무상관) 검정	비정규, 비선형 단조
거리상관 (Distance Correlation)	비선형 관계까지 포착	일반적인 독립성 확인
상호정보량 기반 검정	정보 이론 관점의 독립성	복잡한 의존성
HSIC 검정 등	고차원·비선형 독립성 검정	고급 분석

실무에서는 산점도를 먼저 보고, 상관분석 + 카이제곱 검정(범주형)을 기본으로 사용한다.

3. 변수 축약 (차원 축소) 기법

여러 변수 사이의 정보를 유지하면서 변수 개수를 줄이는 방법이다.

(1) 주성분 분석 (PCA, Principal Component Analysis)

목적: 분산을 최대한 보존하면서 차원을 축소

특징

전체 분산을 기준으로 새로운 축(주성분)을 만듦
주성분들은 서로 직교(상관 0)
해석보다는 데이터 압축·노이즈 제거·시각화에 초점
가정이 적고 계산이 비교적 간단

사용 상황

다중공선성 제거
고차원 데이터 시각화
회귀나 군집분석 전 전처리

(2) 요인분석 (Factor Analysis)

목적: 관측된 변수들 뒤에 있는 잠재 요인(공통 요인)을 찾음

특징

공통분산만 분석 (고유분산·오차는 제외)
“왜 변수들이 서로 상관되어 있는가?”에 대한 답을 찾음
요인 회전을 통해 해석력을 높임
탐색적 요인분석(EFA)과 확인적 요인분석(CFA)으로 나뉨

사용 상황

설문 문항의 구성 타당도 검증
심리·교육·마케팅에서 잠재 구조 파악
변수들을 의미 있는 소수 요인으로 축약

(3) 정준상관분석 (CCA, Canonical Correlation Analysis)

목적: 두 변수 세트 사이의 관계를 최대화하는 선형 조합을 찾음

특징

PCA나 요인분석이 한 집단의 변수를 축약하는 반면, CCA는 두 집단의 변수 간 상관을 분석
정준변수 쌍을 만들고, 그 사이의 상관(정준상관계수)을 최대화
다변량 회귀의 일반화로 볼 수 있음

사용 상황

심리적 특성 세트 vs 행동 특성 세트
마케팅에서 고객 인식 변수 그룹 vs 구매 행동 변수 그룹
두 다변량 데이터 세트 간의 관계 탐색

4. 세 가지 변수 축약 기법 비교

구분주성분 분석 (PCA)요인분석 (FA)정준상관분석 (CCA)

목적	분산 최대 보존하며 축약	잠재 공통요인 탐색	두 변수 집단 간 상관 최대화
분석 대상	한 변수 집단	한 변수 집단	두 변수 집단
초점	전체 분산	공통 분산	집단 간 상관
결과물	주성분	요인	정준변수 쌍
주요 사용	차원축소, 시각화	구조 탐색, 타당도	두 다변량 세트 관계

구체적으로

정준상관분석 (Canonical Correlation Analysis, CCA) 매우 자세히 설명드리겠습니다.

1. 정준상관분석이란?

정준상관분석은 두 개의 변수 집단 사이에 존재하는 관계를 분석하는 다변량 기법입니다.

한 쪽 변수 집단: $ X $ 변수들 (예: $ X_1, X_2, \dots, X_p $)
다른 쪽 변수 집단: $ Y $ 변수들 (예: $ Y_1, Y_2, \dots, Y_q $)

이 두 집단 사이에서 선형 관계를 가장 크게 만들어주는 조합을 찾습니다.

쉽게 말하면, “X 변수들을 잘 섞어서 만든 새로운 변수”와 “Y 변수들을 잘 섞어서 만든 새로운 변수” 사이의 상관을 최대화하는 분석입니다.

2. 핵심 개념

(1) 정준변수 (Canonical Variate / Canonical Variable)

$ U = a_1 X_1 + a_2 X_2 + \cdots + a_p X_p $
→ X 변수들의 선형결합
$ V = b_1 Y_1 + b_2 Y_2 + \cdots + b_q Y_q $
→ Y 변수들의 선형결합

여기서 $ a $와 $ b $는 정준계수 (Canonical Coefficient)라고 부릅니다.

(2) 정준상관계수 (Canonical Correlation)

$\rho = \text{Corr}(U, V)$

첫 번째 정준상관계수 $  \rho_1  $는 가능한 모든 선형결합 중에서 가장 큰 상관을 갖는 값입니다.
두 번째 정준상관계수 $  \rho_2  $는 첫 번째와 무관한(직교하는) 조합 중에서 가장 큰 상관을 갖는 값입니다.
이렇게 $  \min(p, q)  $개까지 정준변수 쌍을 추출할 수 있습니다.

3. 정준상관분석의 목적

두 변수 집단 사이에 얼마나 강한 관계가 있는지 파악
어떤 변수들이 그 관계에 중요하게 기여하는지 파악
두 다변량 데이터 세트 간의 공유되는 구조를 탐색
차원 축소의 일종으로, 두 집단을 소수 차원으로 요약하면서 관계를 보존

4. 기존 분석들과의 차이점

분석 방법비교 대상정준상관분석과의 차이

다중회귀분석	종속변수 1개 vs 독립변수 여러 개	CCA는 종속변수도 여러 개인 경우를 다룸. 양방향 관계
PCA	하나의 변수 집단	CCA는 두 개의 변수 집단 간 관계를 다룸
요인분석	하나의 변수 집단의 잠재 구조	CCA는 잠재 요인보다 두 집단 간 상관에 초점
다변량 분산분석 (MANOVA)	집단 간 차이 (범주형 독립변수)	CCA는 두 연속형 변수 집단 간 관계
상관분석	변수 하나 vs 변수 하나	CCA는 변수 집단 vs 집단
부분최소제곱회귀 (PLS)	예측 목적 + 차원축소	CCA는 예측보다 관계 탐색과 해석에 더 초점

가장 큰 차별점 정준상관분석은 “한 쪽을 종속, 다른 쪽을 독립”으로 두지 않고, 두 변수 집단을 대등한 위치에서 다룬다는 점입니다.

5. 수학적 구조 (개념적으로)

정준상관분석은 다음을 만족하는 계수 벡터 $ \mathbf{a} $, $ \mathbf{b} $를 찾습니다.

$\max_{\mathbf{a}, \mathbf{b}} \text{Corr}(\mathbf{a}^T \mathbf{X}, \mathbf{b}^T \mathbf{Y})$

제약조건: 정준변수의 분산을 1로 고정 이 최적화 문제는 고유값 분해 문제로 변환되어 풀립니다.

결과적으로 나오는 값들:

정준상관계수 $ \rho_1 \geq \rho_2 \geq \cdots \geq 0 $
각 정준변수 쌍의 계수 (정준가중치)
정준적재값 (Canonical Loading): 원래 변수와 정준변수 사이의 상관

6. 분석 결과 해석 방법

정준상관계수의 크기와 유의성
- 첫 번째 정준상관이 얼마나 큰지, 통계적으로 유의한지 확인
- 보통 윌크스 람다(Wilks’ Lambda) 등으로 검정
정준적재값 (Canonical Loadings)
- 원래 변수가 해당 정준변수와 얼마나 상관되어 있는지
- 어떤 변수가 그 관계를 주로 만드는지 해석할 때 가장 중요
정준교차적재값 (Cross Loadings)
- 한 쪽 변수가 반대쪽 정준변수와 얼마나 상관되는지
중복성 지수 (Redundancy Index)
- 한 변수 집단의 분산 중 상대 정준변수에 의해 설명되는 비율
- 실질적인 설명력을 볼 때 중요 (정준상관만 높고 중복성이 낮으면 해석에 주의)

7. 기본 가정

선형성 (정준변수 간 선형 관계)
다변량 정규성 (검정과 추론을 위해)
이상치에 민감할 수 있음
표본 크기가 충분해야 함 (변수가 많을수록 더 많이 필요)
다중공선성이 너무 심하면 결과가 불안정

8. 장점과 단점

장점

두 다변량 데이터 세트 간의 복잡한 관계를 종합적으로 파악
변수 집단을 대등하게 다룸
차원 축소와 관계 탐색을 동시에 수행
다중회귀를 일반화한 형태로 볼 수 있음

단점

해석이 비교적 어려움 (정준변수 자체의 의미가 모호할 수 있음)
가정이 깨지면 결과가 왜곡되기 쉬움
표본 크기가 작거나 변수가 많으면 불안정
예측 목적보다는 탐색·설명 목적에 더 적합
비선형 관계는 잘 포착하지 못함 (커널 CCA 등으로 확장 가능)

9. 실제 활용 예시

심리학: 성격 특성 변수 집단 ↔ 행동/적응 변수 집단
마케팅: 고객 인식·태도 변수 ↔ 구매 행동 변수
교육학: 학습 전략 변수 ↔ 학업 성취 변수
의학: 생활습관 변수 집단 ↔ 생체지표 변수 집단
금융: 거시경제 지표 집단 ↔ 주식시장 지표 집단

10. 분석 절차 요약

두 변수 집단 정의
기초 통계 및 상관행렬 확인
정준상관분석 실행
정준상관계수 유의성 검정
정준계수·적재값 해석
중복성 분석
필요한 경우 정준변수 점수를 저장하여 후속 분석에 활용

한 줄 요약

정준상관분석은 두 개의 변수 집단 사이에서 서로 가장 높은 상관을 갖는 선형 조합(정준변수)을 찾아 집단 간 관계를 종합적으로 탐색하는 다변량 기법입니다.

PCA/요인분석 → 한 집단 내부 구조
다중회귀 → 한쪽 방향 예측
정준상관분석 → 두 집단 간 대등한 관계 탐색

이 점이 기존 분석들과 가장 큰 차이입니다.

요약

공분산 = 0은 독립성을 보장하지 않는다. (독립 ⇒ 공분산 0만 항상 참)
독립성 확인은 정의, 상관/공분산, 그리고 적절한 독립성 검정을 통해 수행
변수 축약 기법:
- PCA: 분산 기준 축약
- 요인분석: 잠재 요인 탐색
- 정준상관분석: 두 변수 그룹 간 관계 분석

군집분석 (Cluster Analysis) 개요와 주요 방법

1. 군집분석이란?

유사한 개체끼리 묶고, 서로 다른 개체는 분리하는 비지도 학습 기법입니다. 종속변수(정답)가 없는 상태에서 데이터의 내재된 구조를 찾아냅니다.

주요 목적:

고객 세분화
패턴 발견
이상치 탐지
데이터 압축·요약

2. 군집분석의 주요 방법 분류

(1) 계층적 방법 (Hierarchical Methods)

원리 개체들을 계층적으로 묶어가거나 나누어가며 나무 구조(Dendrogram)를 만듭니다.

종류

응집 계층적 (Agglomerative): 처음부터 각 개체를 하나의 군집으로 보고, 가까운 것끼리 점점 합쳐감 (Bottom-up)
분할 계층적 (Divisive): 전체를 하나의 군집으로 보고, 점점 쪼개감 (Top-down) → 실무에서는 거의 안 씀

거리 측정 방식 (Linkage)

방법특징

단일연결 (Single)	가장 가까운 점 기준 → 길게 늘어지는 군집 생성 가능
완전연결 (Complete)	가장 먼 점 기준 → 작고 둥근 군집 선호
평균연결 (Average)	평균 거리 사용
와드연결 (Ward)	군집 내 분산 증가를 최소화 → 실무에서 가장 많이 사용

장점

군집 개수를 미리 정할 필요 없음
덴드로그램으로 구조 파악 용이

단점

데이터가 많으면 계산량이 큼 (시간·메모리 부담)
한번 합쳐지거나 나눠지면 되돌리기 어려움

(2) 비계층적 방법 (Non-hierarchical) / 최적화 방법

원리 군집 개수 $ K $를 미리 정하고, 어떤 기준(목적함수)을 최적화하면서 개체를 배정합니다.

대표 알고리즘: K-Means

군집 개수 $ K $ 설정
초기 중심점(Centroid) 임의 선택
각 개체를 가장 가까운 중심점에 배정
중심점을 다시 계산
변화가 없을 때까지 반복

장점

계산이 빠르고 대용량 데이터에 적합
구현이 간단

단점

군집 개수 $ K $를 미리 정해야 함
초기값에 따라 결과가 달라질 수 있음
구형(둥근) 군집을 가정 → 복잡한 형태에 약함
이상치에 민감

변형

K-Medoids (PAM): 중심을 실제 데이터 포인트로 사용 → 이상치에 강함
Fuzzy C-Means: 소속도를 확률처럼 부여 (소속 정도가 애매한 경우)

(3) 밀도에 의한 방법 (Density-based Methods)

원리 데이터가 빽빽하게 모여 있는 지역을 군집으로 보고, 밀도가 낮은 곳은 노이즈로 처리합니다.

대표 알고리즘: DBSCAN

핵심 파라미터:
- $ \varepsilon (입실론): 이웃을 정의하는 반경
- MinPts: 핵심점이 되기 위한 최소 이웃 수
핵심점, 경계점, 노이즈로 구분

장점

군집 개수를 미리 정할 필요 없음
임의의 모양 군집을 잘 찾음
노이즈(이상치)를 자연스럽게 걸러냄

단점

밀도가 다른 군집이 섞여 있으면 성능 저하
파라미터($ \varepsilon $, MinPts) 설정이 중요하고 어려울 수 있음
고차원 데이터에서 성능이 떨어질 수 있음 (차원의 저주)

관련 알고리즘

OPTICS: DBSCAN의 단점을 보완, 밀도 변화가 있는 경우에도 잘 작동
HDBSCAN: 계층적 + 밀도 기반

(4) 그래프에 의한 방법 (Graph-based Methods)

원리 개체를 노드(점), 유사도를 엣지(선)로 표현한 그래프를 만들고, 그래프 분할이나 연결 구조를 이용해 군집을 찾습니다.

대표적 접근

Spectral Clustering (스펙트럴 군집화) 유사도 행렬 → 그래프 라플라시안 → 고유벡터를 이용해 저차원으로 보낸 후 K-Means 적용
최소 신장 트리(Minimum Spanning Tree) 기반 방법
커뮤니티 탐지 알고리즘 (예: Louvain)

장점

비볼록(오목한) 모양의 군집도 잘 찾아냄
복잡한 구조의 데이터에 강함

단점

계산 비용이 큼
유사도 그래프를 어떻게 만드는지에 따라 결과가 크게 달라짐

3. 방법별 비교 요약

방법군집 개수 사전 지정군집 모양대용량 데이터이상치 처리대표 알고리즘

계층적	필요 없음	다양	불리	보통	Agglomerative, Ward
비계층적(최적화)	필요	주로 구형	유리	약함	K-Means, K-Medoids
밀도 기반	필요 없음	임의 형태	보통	강함	DBSCAN, HDBSCAN
그래프 기반	보통 필요	복잡 형태 가능	불리	보통	Spectral Clustering

4. 실무에서 선택 기준

데이터가 많고 속도가 중요 → K-Means
군집 개수를 모르거나 구조를 탐색하고 싶을 때 → 계층적 방법
노이즈가 많고 모양이 불규칙할 때 → DBSCAN / HDBSCAN
복잡하고 비선형적인 구조 → Spectral Clustering

군집분석은 “정답이 없는” 분석이라서, 여러 방법을 시도해보고 실루엣 계수, Davies-Bouldin 지수, 덴드로그램, 비즈니스 해석 가능성 등을 종합해 판단하는 것이 중요합니다.

'AI > 확률|통계 기반' 카테고리의 다른 글

기술통계/추출법에 대해 (0)	2026.08.08
비정형 데이터 탐색 (0)	2026.08.08
고급데이터 탐색 (0)	2026.08.08
상관분석과 기초통계 분석 이해 (0)	2026.08.08
통계값을 활용한 데이터 탐색 (EDA) 개요 (0)	2026.08.08