분석 변수 처리 방법과 이론들

1. 변수별 모형 분류

회귀분석에서 모형은 포함되는 독립변수(설명변수)의 범위에 따라 다음과 같이 구분합니다.

모형 종류정의특징

영모형 (Null model / Intercept-only model)	절편만 있고 독립변수가 전혀 없는 모형  $  Y = \beta_0 + \varepsilon  $	가장 단순한 기준 모형. 모든 선택법의 출발점 또는 비교 기준으로 사용
전체 모형 (Full model / Saturated model에 가까운 형태)	고려 가능한 모든 후보 독립변수를 포함한 모형	가장 복잡한 모형. 후진 선택의 출발점. 과적합 위험이 큼
축소 모형 (Reduced model)	Full model의 부분집합 변수만 포함한 모형	Full model과 Nested 관계일 때 주로 비교. 검정·선택에서 자주 등장
중간 모형 / 부분 모형	영모형과 Full model 사이의 임의의 변수 조합	실제 선택 과정에서 후보로 검토되는 모형들
최종 선택 모형	선택 절차를 거쳐 선택된 모형	보통 축소 모형 중 하나

 

 

• Nested 관계: Reduced model이 Full model의 변수 부분집합일 때  (예: Full에 $  X_1,X_2,X_3  $가 있고 Reduced에 $  X_1,X_2  $만 있는 경우). 이 경우 F-검정, 우도비 검정 등으로 직접 비교 가능.
• Non-nested: 변수 집합이 서로 포함 관계가 아닌 경우 → AIC, BIC, Cross-validation 등으로 비교.

실무에서는 “영모형 → 후보 축소 모형들 → Full model” 스펙트럼으로 보고, 정보량 기준이나 유의성 기준으로 최적 지점을 찾습니다.

2. 대표적인 변수 선택법의 원리와 방법

변수 선택법은 주로 p-값(유의성), AIC/BIC, Adjusted R2 R^2 R2 등을 기준으로 합니다. 여기서는 고전적인 유의성(p-값) 기반 단계적 방법을 중심으로 설명합니다.

(1) 전진 선택법 (Forward Selection)

원리 영모형에서 시작해 한 번에 하나씩 가장 설명력이 큰(가장 유의한) 변수를 추가해 나갑니다. “지금 모형에 없는 변수 중, 추가했을 때 모형 개선이 가장 큰 것”을 고르는 탐욕적(greedy) 방식입니다.

방법 (절차)

1. 영모형으로 시작.
2. 아직 들어가지 않은 모든 후보 변수에 대해, 각각을 추가했을 때의 유의성(보통 부분 F-검정 또는 t-검정 p-값)을 계산.
3. 가장 유의한(p-값이 가장 작은) 변수를 추가.
4. 미리 정한 진입 기준(예: p < 0.05 또는 p < 0.15)을 만족하는 변수가 더 이상 없으면 중단.
5. 최종적으로 남은 변수가 선택된 모형.

특징

• 계산이 상대적으로 빠르고, 변수가 많을 때 유리.
• 한 번 들어간 변수는 절대 제거되지 않음 → 나중에 다른 변수와 함께 있을 때 유의성이 사라질 수 있는 문제를 해결하지 못함.
• 다중공선성이 있을 때 초기에 잘못 선택된 변수가 계속 남을 수 있음.

(2) 후진 선택법 (Backward Elimination)

원리 Full model에서 시작해 한 번에 하나씩 가장 덜 유의한(가장 불필요한) 변수를 제거해 나갑니다. “지금 모형에 있는 변수 중, 제거해도 모형이 크게 나빠지지 않는 것”을 고르는 방식입니다.

방법 (절차)

1. 모든 후보 변수를 포함한 Full model으로 시작.
2. 현재 모형에 있는 각 변수의 유의성(부분 F 또는 t p-값)을 계산.
3. 가장 유의하지 않은(p-값이 가장 큰) 변수를 제거.
4. 미리 정한 제거 기준(예: p > 0.05 또는 p > 0.10)을 넘는 변수가 더 이상 없으면 중단.
5. 남은 변수가 최종 모형.

특징

• 초기에 모든 변수의 결합 효과를 고려하므로, 전진 선택보다 변수 간 상호작용·다중공선성을 더 잘 반영하는 경향.
• 후보 변수가 매우 많거나 표본 크기가 작으면 Full model 자체가 추정 불가능하거나 불안정해질 수 있음.
• 한 번 제거된 변수는 다시 들어오지 않음.

(3) 단계적 선택법 (Stepwise Selection)

원리 전진 선택과 후진 선택을 결합한 방법입니다. 변수를 추가할 때마다 “이미 들어와 있는 변수 중 더 이상 유의하지 않은 것이 없는지”를 다시 검사하여 제거할 수 있게 합니다. 즉, 추가(진입)와 제거(탈락)를 동시에 허용하는 양방향 탐색입니다.

방법 (일반적인 절차)

1. 영모형(또는 사용자가 지정한 초기 모형)으로 시작.
2. 진입 단계: 아직 없는 변수 중 진입 기준을 만족하는 가장 유의한 변수를 추가.
3. 제거 단계: 현재 모형에 있는 변수 중 제거 기준을 넘는(유의하지 않은) 변수가 있으면 제거.
4. 진입과 제거를 반복하다가, 더 이상 진입할 변수도 없고 제거할 변수도 없으면 중단.
5. 이때 진입 기준(α_enter)과 제거 기준(α_remove)을 다르게 설정하는 경우가 많음 (보통 α_enter < α_remove, 예: 0.05와 0.10).

특징

• 전진만 했을 때 생기는 “한 번 들어가면 못 나오는” 문제를 완화.
• 후진만 했을 때 생기는 “한 번 나오면 못 들어가는” 문제도 완화.
• 가장 널리 쓰이지만, 여전히 국소 최적에 빠질 수 있고, p-값 기준의 한계(다중검정, 모형 선택의 편향 등)를 완전히 해결하지는 못함.

추가 참고 사항

• 기준의 선택
  • p-값 기반: 고전적 방법, 해석이 직관적이나 다중검정 문제와 표본 크기에 민감.
  • 정보량 기준(AIC, BIC, AICc): 모형 복잡도 페널티를 직접 부여 → 현대적으로 더 권장되는 경우가 많음.
  • Cross-validation, Adjusted $  R^2  $, Mallows’ $  C_p  $​ 등도 함께 사용.
• 공통 한계 세 방법 모두 탐욕적 알고리즘이라 전역 최적 모형을 보장하지 않습니다. 변수가 많고 상관이 높을수록 결과가 불안정해질 수 있으므로,
  • 도메인 지식으로 후보 변수를 미리 줄이거나
  • LASSO, Ridge, Elastic Net 같은 정규화 방법,
  • 또는 모든 부분집합 탐색(Best subset) + 정보량 기준 을 함께 고려하는 것이 좋습니다.

요약하면,

• 영모형은 변수 0개, Full model은 변수 전부, 축소 모형은 그 사이입니다.
• 전진은 “추가만”, 후진은 “제거만”, 단계적은 “추가+제거”를 반복하면서 모형을 탐색합니다.

 

AIC, BIC, AICc란?

AIC, BIC, AICc는 모두 모형 선택 기준(Information Criteria)입니다. 회귀분석이나 변수 선택에서 “어떤 모형이 더 좋은가?”를 판단할 때 p-값 대신 자주 사용합니다.

공통점

• 낮을수록 더 좋은 모형으로 판단합니다.
• 모형의 적합도(Likelihood)와 복잡도(파라미터 수)를 동시에 고려합니다.
• 적합도가 좋아도 변수가 너무 많으면 페널티를 줘서 과적합을 억제합니다.

---

1. AIC (Akaike Information Criterion)

공식

$\text{AIC} = 2k - 2\ln(\hat{L})$

 

• $  k  $: 추정된 파라미터 수 (회귀계수 + 오차분산 등)
• $  \hat{L}  $: 최대우도(maximum likelihood)
  
  특징
  
  아카이케(Akaike)가 제안한 가장 대표적인 기준
  페널티가 $  2k  $로 비교적 약함 → 변수를 조금 더 많이 넣는 경향
  표본 크기가 클 때도 사용 가능하지만, 소표본에서는 과적합 위험이 있음
  상대적 비교용 (절대값 자체는 의미 없음)

---

2. BIC (Bayesian Information Criterion)

공식

• $$\text{BIC} = k \ln(n) - 2\ln(\hat{L})$$
  
  
• $  n  $: 표본 크기
• $  k  $: 파라미터 수
  
  특징
  
  베이즈 이론에 기반 (Schwarz Criterion이라고도 부름)
  페널티가 $  k \ln(n)  $ → 표본이 커질수록 페널티가 커짐
  AIC보다 훨씬 간결한 모형을 선호함
  표본 크기가 크면 변수를 더 공격적으로 줄이는 경향

AIC vs BIC 간단 비교

구분AICBIC

페널티	$  2k  $	$  k \ln(n)  $
성향	조금 복잡해도 OK	단순 모형 선호
표본 크기 영향	거의 없음	커질수록 페널티↑
추천 상황	예측 목적	진정한 구조 찾기

 

 

3. AICc (Corrected AIC)
공식
$$\text{AICc} = \text{AIC} + \frac{2k(k+1)}{n-k-1}$$

또는
$$\text{AICc} = 2k - 2\ln(\hat{L}) + \frac{2k(k+1)}{n-k-1}$$

특징

소표본 보정 버전 (Hurvich & Tsai)
$  n  $이 작거나 $  k  $가 $  n  $에 비해 상대적으로 클 때 AIC의 편향을 줄여줌
표본이 작을 때 거의 필수적으로 사용 권장
$  n  $이 충분히 크면 ($  n/k > 40  $ 정도) AIC와 거의 같아짐

---

실무에서 어떻게 쓰나?

상황추천 기준이유

표본이 작음 (n n n이 k k k에 비해 작음)	AICc	과적합 방지에 가장 안전
일반적인 경우 / 예측 목적	AIC 또는 AICc	균형이 좋음
표본이 크고, 간결한 모형 선호	BIC	불필요한 변수를 더 잘 제거
단계적 선택법 사용 시	AIC / BIC / AICc 모두 가능	p-값 대신 정보량 기준으로 진입·제거

 

 

핵심 요약

• AIC: 가장 기본, 페널티 약함 → 조금 복잡한 모형 허용
• BIC: 페널티 강함 → 더 단순한 모형 선호
• AICc: 소표본에서 AIC의 단점을 보완한 버전 (실무에서 가장 추천하는 경우 많음)

세 기준 모두 절대값이 아니라 모형 간 차이로 비교합니다. 차이가 2 이하면 거의 비슷한 성능, 4~7이면 어느 정도 차이, 10 이상이면 명확한 차이가 있다고 봅니다.

 

 

LASSO, Ridge, Elastic Net은 정규화(Regularization) 기법

 

기존의 단계적 선택법(전진·후진·단계적)이나 AIC/BIC와 달리, 계수를 축소(shrinkage)하면서 과적합을 막고 변수 선택까지 수행하는 방법입니다.

공통 개념

일반 최소제곱법(OLS)은 잔차제곱합만 최소화합니다. 정규화 방법은 여기에 페널티 항을 추가해서 계수($  \beta  $)가 너무 커지지 않도록 강제합니다.
$$\text{최소화할 목적함수} = \text{잔차제곱합} + \text{페널티}$$

페널티의 형태에 따라 Ridge, LASSO, Elastic Net으로 나뉩니다.

---

1. Ridge Regression (릿지 회귀)

페널티

$\lambda \sum_{j=1}^{p} \beta_j^2 \quad (L2\text{ 노름})$

 

특징

1. 계수를 0에 가깝게 축소하지만, 정확히 0으로 만들지는 않음
2. 모든 변수가 모형에 남음 → 변수 선택 기능 없음
3. 다중공선성(변수들끼리 상관 높을 때)에 매우 강함
4. $  \lambda  $가 커질수록 계수가 더 강하게 줄어듦

장점

• 안정적인 계수 추정
• 예측 성능이 좋은 경우가 많음

단점

• 해석이 어려움 (불필요한 변수도 남아 있음)
• 변수 선택이 안 됨

추천 상황: 모든 변수가 어느 정도 의미가 있고, 다중공선성이 심할 때 / 예측이 주목적일 때

---

2. LASSO (Least Absolute Shrinkage and Selection Operator)

페널티

$\lambda \sum_{j=1}^{p} |\beta_j| \quad (L1\text{ 노름})$

 

특징

1. 계수를 축소하면서 일부 계수를 정확히 0으로 만듦
2. → 자동 변수 선택 기능이 있음
3. $  \lambda  $ 가 커질수록 더 많은 변수가 0이 됨 (더 sparse한 모형)

장점

• 변수 선택 + 계수 축소를 동시에 수행
• 해석이 용이 (중요한 변수만 남음)
• 고차원 데이터($  p > n  $)에서도 사용 가능

단점

• 변수들 사이에 상관이 높으면 그 중 하나만 임의로 선택하고 나머지는 버리는 경향 (불안정)
• 택된 변수의 개수가 표본 크기 $  n  $을 넘지 못함

추천 상황: 중요한 변수만 골라내고 싶을 때 / 해석이 중요할 때

---

3. Elastic Net

페널티

​

$\lambda_1 \sum_{j=1}^{p} |\beta_j| + \lambda_2 \sum_{j=1}^{p} \beta_j^2$

 

또는 보통 $  \alpha  $로 비율을 조절:

$\lambda \Big( \alpha \sum |\beta_j| + (1-\alpha) \sum \beta_j^2 \Big)$

 

특징

• LASSO(L1) + Ridge(L2)를 섞은 방법
• LASSO처럼 일부 계수를 0으로 만들어 변수 선택 가능
• Ridge처럼 상관 높은 변수들을 함께 선택하는 경향 (grouping effect)

장점

• LASSO의 불안정성 보완
• 상관된 변수 그룹을 더 잘 다룸
• 변수 선택과 예측 성능의 균형이 좋음

단점

• 튜닝해야 할 파라미터가 2개(λ \lambda λ, α \alpha α)라서 계산이 조금 더 복잡

추천 상황: 변수들 사이에 상관이 있고, 변수 선택도 하고 싶을 때 (가장 무난하고 많이 쓰임)

---

비교 요약

구분RidgeLASSOElastic Net

 

페널티	L2 L2 L2 (β2 \beta^2 β2)	L1 L1 L1 ($$	\beta
계수를 0으로 만듦	×	○	○
변수 선택	불가능	가능	가능
다중공선성 처리	매우 강함	약함 (하나만 선택)	강함 (그룹으로 선택)
주요 목적	예측 성능 + 안정성	변수 선택 + 해석	둘 다 균형
파라미터	λ \lambda λ	λ \lambda λ	$  \lambda, \alpha  $

 

 

 

---

단계적 선택법과의 차이

항목단계적 선택법 (전진/후진/단계적)정규화 방법 (LASSO 등)

방식	변수를 넣었다 뺐다 반복	모든 변수를 동시에 다루며 계수 축소
결과	변수가 들어가거나/안 들어가거나	계수가 연속적으로 줄어들거나 0이 됨
안정성	불안정한 경우 많음	상대적으로 안정적
고차원 데이터	어려움	잘 작동
현대적 추천도	고전적 방법	더 권장되는 편

 

 

---

실무 팁

• 예측이 목적이고 변수 선택이 중요하지 않다면 → Ridge
• 중요한 변수만 골라내고 싶을 때 → LASSO
• 변수 간 상관이 있고 변수 선택도 하고 싶을 때 → Elastic Net (가장 무난)
• $  \lambda  $(또는 $  \alpha  $)는 보통 교차검증(Cross-validation)으로 선택합니다.