지난 포스팅에서도 설명드렸다싶이 가설검정이라는 것은 일종의 이진 분류 문제로 해석할 수 있습니다. 그리고 일반적으로 발생할 수 있는 오류에는 두 가지가 있습니다. 먼저 위양성(False Positive) 또는 제1종 오류(Type I Error)는 귀무가설이 참일 때 대립가설을 잘못 받아들이는 경우에 해당합니다. 즉, $p(\hat{H} = 1 \mid H = 0)$인 경우이죠. 반대로 위음성(False Negative) 또는 제2종 오류(Type II Error)는 대립가설이 참일 때 귀무가설을 잘못 받아들이는 경우에 해당합니다. 즉, $p(\hat{H} = 0 \mid H = 1)$인 경우이죠.
1. 제1종 오류(Type I Error)
제1종 오류율 $\alpha$는 검정의 유의 수준(significance)라고도 불립니다. 지난 포스팅의 가우시안 평균의 예시에서 그림 5.10 (a)에 나타난 바와 같이 제1종 오류율은 수직으로 음영 처리된 파란색 영역입니다. 즉, 다음과 같이 정해지죠.
$$\begin{align} \alpha(\mu_{0}) &= p(\text{Type I Error}) \\ &= p(\text{reject } H_{0} \mid H_{0} \text{ is true}) \\ &= p(\bar{X}(\tilde{D}) > x^{*} \mid \tilde{D} \sim H_{0}) \\ &= p \left( \frac{X - \mu_{0}}{\frac{\sigma}{\sqrt{N}}} > \frac{x^{*} - \mu_{0}}{\frac{\sigma}{\sqrt{N}}} \right) \end{align}$$
따라서, $x^{*} = z_{\alpha} \frac{\alpha}{\sqrt{N}} + \mu_{0}$가 되며 여기서 $z_{\alpha}$는 표준정규분포에서 상위 $\alpha$ 분위수를 의미합니다. 이 부분이 조금 어려울 수도 있을 거 같습니다. 조금 더 풀어서 설명해보도록 하죠. 위 식에서 $\bar{X}(\tilde{D})$라는 것은 데이터셋 $\tilde{D}$가 주어졌을 때의 표본평균을 의미합니다. 이때, $H_{0}$가 참이라고 가정하겠습니다. 그러면 $\bar{X} \sim \mathcal{N}(\mu_{0}, \frac{\sigma^{2}}{N})$이 되고 이를 표준화하면 $Z = \frac{\bar{X} - \mu_{0}}{\frac{\sigma}{\sqrt{N}}} \sim \mathcal{N}(0, 1)$이 됩니다. 이 식을 반영하여 전개하면 마지막 식 결과를 얻을 수 있게 되는 것이죠. 이때, $\alpha$ 분위수 $z_{\alpha}$를 $p(Z > z_{\alpha}) = \alpha$라고 정의하면 $z_{\alpha} = \frac{x^{*} - \mu_{0}}{\frac{\sigma}{\sqrt{N}}}$이 되는 것을 볼 수 있습니다.
이 결과는 유의수준 $\alpha$를 고정하면 $H_{0}$ 하에서 상측 꼬리확률이 $\alpha$가 되도록 임계값 $x^{*}$를 정해야하고 그때 표준정규의 $\alpha$ 분위수 $z_{\alpha}$가 등장합니다. 이때, $N$이 커질수록 $\frac{\alpha}{\sqrt{N}}$은 더욱 작아져서 임계값이 $\mu_{0}$에 가까지게 됩니다. 이는 표본평균이 $\mu_{0}$에서 조금만 벗어나도 $H_{0}$를 기각하게 되어 검정이 더욱 예민해집니다.
2. 제2종 오류(Type II Error)
제2종 오류율은 $\beta$로 표기되며 다음과 같이 정의됩니다.
$$\begin{align} \beta(\mu_{1}) &= p(\text{Type II Error}) \\ &= p(\text{accept } H_{0} \mid H_{1} \text{ is true}) \\ &= p(\bar{X}(\tilde{D}) < x^{*} \mid \tilde{D} \sim H_{1} ) \end{align}$$
이는 그림 5.10 (a)에서 수평으로 음영처리된 빨간색 영역에 해당합니다. 저희는 여기서 검정력을 $1 - \beta(\mu_{1})$으로 정의합니다. 이는 $H_{1}$이 참일 때 $H_{0}$를 기각할 확률, 즉 $p(\hat{H} = 1 \mid H = 1)$입니다. 이는 참양성률에 해당하며 귀무가설이 틀렸음을 올바르게 인식하는 능력을 반영합니다. 이때, 그림 5.10 (b)와 같이 두 검정 $A$와 $B$가 있을 때 동일한 제1종 오류율에서 $\text{power}(A) \ge \text{power}(B)$이면 $B$가 $A$를 지배한다라고 말합니다.
그리고 유의수준 $\alpha$에서 가능한 모든 검정 가운데 $H_{1}$ 하에서 가장 큰 검정력을 가지는 검정을 가장 강력한 검정(Most Powerful Test)라고 합니다. 중요한 사실은 가능도 비 검정이 바로 이러한 가장 강력한 검정이며 이를 Neymann-Pearson 보조정리로 알려져있습니다.
