[통계학] 6. 가설검증 (Hypothesis testing)이란? Part II

저번 시간에 이어 가설 검증 Part II 이어가도록 하겠습니다. 이번 포스트에서는 모집단에 대한 정보가 부족할 때 자주 이용되는 여러 가지 t 검정 방법들에 대해 알아보록하겠습니다. 

 

우선 가설검증 과정을 간략하게 복습해보면 다음과 같습니다 (가설 검증 (Hypothesis testing)이란? Part I). 

가설검정 디자인

1. 귀무가설, 대립 가설 설정
2. 검정 통계량 설정
3. 유의 주순과 기각역 설정
4. 대립 분포를 이용해 검정력 측정

가설검정 실행

1. 데이터 수집 및 검정 통계량 측정
2. 검정 통계량이 기각역 내에 떨어지는지 여부 확인
3. 내무 가설 채택/기각

여기서 우리는 데이터가 정규분포를 따른다고 가정했었죠. 저번 시간에 다루었던 IQ 예제에서는 대한민국 평균 아이큐가 평균($\mu$)이 100고 표준편차($\sigma$)는 15인 정규분포를 따른다는 가정하에 가설 검증을 실행했습니다. 이처럼 우리가 모집단의 분산을 안다고 가정했을 때의 가설검정을 Z검정 ($z$-test)라고 합니다. 

 

단일 표본 t-검정 ($t$-test)

하지만 실제로 우리는 모집단의 분산를 알지 못하는 경우가 대부분이죠. 그때 우리는 정규분포 대신에 $t$분포(the Student t distribution)를 이용하여 가설검정을 실행합니다.

 

여기서 $t$분포는 정규분포와 마찬가지로 양쪽이 대칭인 벨 모양의 분포입니다. 한 가지 다른 점이 있다면 매개 변수 자유도($df$)에 의해 모양이 달라지는데 두 가지 특징이 있습니다.

1. 자유도가 커질수록 표준정규분포의 모양에 점점 가까워진다.
2. 자유도가 작을 때 데이터가 양쪽 끝 꼬리에 있을 확률이 표준 정규분포보다 높다.  

출처 : http://ci.columbia.edu/ci/premba_test/c0331/s7/s7_4.html

 

지난번에 다루었던 IQ예제에서 모집단의 분산을 모른다고 가정해보겠습니다. 그렇다면 우리는 주어진 데이터로부터 모집단의 분산을 추측해야겠죠. 그 값은 간단하게 표본 분산($s^2$)값으로 대체하고 검증을 실행하면 되겠습니다. 프로세스는 $z$검증과 같습니다. 다만 검정 통계량을 계산하는데 필요한 표준편차 값을 데이터로부터 구한다는 차이만 있습니다.

 

이때 이 검정 통계량은 정규분포의 분포를 안다는 가정하에 표준화된 평균값인 $z$ 대신 $t$분포를 이용해 표준화한 평균값인 $t$로 표시하며 수식으로는 다음과 같습니다.

 

$t=\frac {\overline {x}-\mu_0}{s/\sqrt {n}}$

 

여기서 $s$는 표본 표준편차로 $\frac {1}{n-1}\sum_{i=1}^n (x_i - \overline(x))^2$로, $\mu_0$는 귀무 분포의 평균, $n$은 표본 크기로 정의됩니다.

 

따라서 t-검정 과정은 다음과 같습니다.

1. 데이터 : 데이터가 정규분포를 따른다고 가정 ($x_1, x_2, x_3, ..., x_n \sim N(\mu,\sigma^2)$). 단 $\mu$와 $\sigma$값은 알지 못한다.
2. 귀무가설, 대립가설 설정 : $H_0 : \mu = \mu_0$
3. 검정 통계량 설정 : $t$
4. 귀무 분포 $f(t|H_0)$는 자유도($df$)가 $n-1$인 $t$분포($t(n-1)$)를 따른다.
5. 검정 통계량이 기각역 내에 떨어지는지 여부 확인
   1. 단측 검정 : $p = P(T> t|H_0)$ 또는 $P(T <t|H_0)$
   2. 양측 검정 : $p = P(|T| >|t|)$
6. 내무 가설 채택/기각

2 표본 t-검정 (two-sample t-test with equal variances)

2 표본 t-검정은 두 개의 표본의 평균을 비교할 때 이용됩니다. 예를 들어 제약회사에서 두 가지 약물들의 효과가 다른지 알고 싶을 때 사용될 수 있겠죠. 여기서 주의해야 할 것은 검정 통계량 $t$를 계산할 때 표본 분산 대신 합동 분산(pooled variance)을 이용합니다. 표본 분산을 계산할 때 표본 크기가 더 큰 쪽 표본에 가중치를 준다고 생각하시면 되겠습니다. 만약 표본 크기가 같다면 합동 분산은 표본분산들의 산술평균이 되겠죠.

 

합동 분산 $s_p$의 수식은 다음과 같습니다.

$s_p = \frac{(n-1) s_x^2 + (m-1) s_y^2}{n+m-2} (\frac {1}{n}+\frac {1}{m})$

 

그리고 우리는 두 표본들의 평균값들이 유의미하게 차이 나는지 알고 싶기 때문에 귀무가설 또한 그에 적절하게 설정해야겠죠. 2 표본 t-검정에서 귀무가설은 $H_0 : \mu_1 = \mu_2$로 설정합니다.

 

따라서 2 표본t-검정 과정은 다음과 같습니다.

1. 데이터 : 두 데이터 모두 정규분포를 따른다고 가정 ($x_1, x_2, x_3,..., x_n \sim N(\mu_1,\sigma^2)$ 그리고 $y_1, y_2, y_3,..., y_m \sim N(\mu_2, \sigma^2)$. 단 $\mu_1$, $\mu_2$, 그리고 $\sigma$값은 알지 못한다.
2. 귀무가설, 대립 가설 설정 : $H_0 : \mu_1 = \mu_2$
3. 검정 통계량 설정 : $t = \frac {\overline {x} - \overline {y}}{s_p}$
4. 귀무 분포 $f(t|H_0)$는 자유도($df$)가 $n+m-2$인 $t$분포($t(n+m-2)$)를 따른다.
5. 유의 주순과 기각역 설정 : $\alpha = 0.05$, $t_alpha=0.05$ 
6. 검정 통계량이 기각역 내에 떨어지는지 여부 확인
   1. 단측 검정 : $p = P(T> t|H_0)$ 또는 $P(T <t|H_0)$
   2. 양측 검정 : $p = P(|T| >|t|)$
7. 내무 가설 채택/기각

대응표본 t-검정 (paired t-test)

대응표본 $t$-검정은 한 표본의 전후 상태를 비교할 때 이용됩니다. 예를 들어 제약회사가 한 표본집단에게 콜레스테롤을 낮추는 신약 실험을 했다고 생각해 봅시다. 이때 투약 전 A라는 사람의 콜레스테롤 수치 $x_1$, 투약 후 그 사람의 콜레스테롤 수치 $y_1$와 같이 데이터가 ($x_1$, $y_1$) 와 같은 형식으로 표본집단의 데이터가 형성되어 있을 때 대응표본 t-검정을 통해 신약이 효과 유무를 판단할 수 있겠죠. 

 

1. 데이터 : 사전, 사후의 값들은 $x_1, x_2, x_3,..., x_n$과 $y_1, y_2, y_3,..., y_n$같은 길이를 같고 두 값은 차이인 $w_i = x_i - y_i$는 평균이 $mu$이고 분산이 $\sigma^2$인 정규분포를 따른다 ($\w_1, w_2, w_3,... w_n \sim N(\mu, \sigma^2)$. 단 $\mu$와 $\sigma$값은 알지 못한다.
2. 귀무가설, 대립 가설 설정 : $H_0 : \mu = \mu_0$
3. 검정 통계량 설정 : $t = \frac {\overline {w} - \mu_0}{s/\sqrt {n}}$
4. 귀무 분포 $f(t|H_0)$는 자유도($df$)가 $n-1$인 $t$분포($t(n-1)$)를 따른다.
5. 유의 주순과 기각역 설정 : $\alpha = 0.05$, $t_alpha=0.05$ 
6. 검정 통계량이 기각역 내에 떨어지는지 여부 확인
   1. 단측 검정 : $p = P(T> t|H_0)$ 또는 $P(T <t|H_0)$
   2. 양측 검정 : $p = P(|T| >|t|)$
7. 내무 가설 채택/기각

어디서 본 것 같지 않나요? 맞습니다. 약간의 데이터 변형으로 $w_i$를 이용한 단일 표본 t-검정 와 같은 모양이 만들어졌습니다. 단일 표본 t-검정과 마찬가지로 모집단의 분산 값을 알지 못하기 때문에 여기서도 표본 데이터에서 표본 분산을 구하여 그것을 대체하고 나머지는 같은 프로세스를 따릅니다. 

 

---

이번 시간에는 모집단에 대한 정보가 부족할 때 (e.g. 모집단의 평균이나 분산을 알지 못할 때)에 우회적인 방법으로 이용되는 t-검정의 대표적인 세 가지 종류를 알아보았습니다. 이 외에도 분산 분석(ANOVA test), 카이 제곱 검정(Chi-square test) 등과 같이 수많은 검정 방법들이 있습니다. 

 

하지만 어차피 계산은 이제 컴퓨터가 다 알아서 해주기 때문에 모든 검정 방법들을 암기하실 필요는 전혀 없습니다. 다만 여기서 제가 강조하고 싶은 부분은 검정하고자 하는 가설과 그를 위한 데이터가 있다면 여러 가지 검정 방법 중에 가장 적합한 방법은 무엇인지 알아내는 것이 더욱 중요하겠습니다.