기초통계학[28].귀무가설의 유의성 검정 1

안녕하세요. 지난 포스팅의 기초통계학[27].빈도론자 관점의 통계학에서는 앞으로 진행할 빈도론자 관점의 통계학과 확률의 의미에 대해서 알아보았습니다. 오늘은 본격적으로 빈도론자들이 어떤식으로 통계를 활용하는 지 알아보는 시간을 가지도록 하겠습니다. 그 중에서도 가장 유명한 귀무가설의 유의성 검정(Null Hypothesis Significance Testing)을 알아보도록 하겠습니다. 너무 이름이 기니까 영어이름을 따서 NHST라고 부르도록 하겠습니다!!!

 

사실 이러한 가설 검정 기법에는 많은 방법이 있다고 합니다. 하지만 저희는 많은 방법들 중에서 네이만-피어슨 패러다임(Neyman-Pearson Paradigm)을 사용할 예정입니다. 또한 네이만-피어슨 패러다임이 가장 많이 활용되는 가설 검정 기법이기도 합니다. 이 패러다임은 "귀무 가설(null hypotheis)"에 집중합니다. 이 패러다임을 간단하게 설명하면 저희가 정한 귀무 가설안에 데이터가 있는 지 확인합니다. 만약 데이터가 있다면 귀무 가설을 기각(reject)하고 대립 가설(alternative hypothsis)를 찬성합니다. 

 

지금보면 이해가 잘 가지 않지만 이후에 예제를 통해 보면 그리 어렵지 않다는 것을 느낄 것입니다. 또한 이전 포스팅에서 설명드렸듯이 사전 확률분포를 사용하는 베이지안 통계학과는 다르게 오직 우도(likelihood)로만 판단한다는 것을 기억해주시길 바랍니다.

 

본격적으로 시작하기 전에 몇 가지 예시들을 보고 넘어가도록 하겠습니다. 

 

저희가 동전 A가 공평하다는 사실을 알고 싶다고 가정하겠습니다. 만약 그 동전을 100번 던져서 90번의 앞면이 나왔다면 그 동전은 공평한 것일까요? 70번의 앞면이 나왔다면요? 아니면 47번의 앞면이 나왔다면요? 대부분의 사람들은 90번, 70번의 앞면이 나온 경우 이 동전이 불공평하다고 생각하겠죠. 하지만 47번의 앞면이 나오게 되면 나름 공평하다고 생각하실겁니다. 여기서 NHST를 적용해서 공평하다는 것을 검증할 수도 있을 것입니다. 

 

다른 예시로 어떤 치료약 A의 효과를 검증하려고 하는 데 그 효과가 위약 효과(placebo effect)에 의한 것인지, 아니면 정말 치료의 효과가 있는 것인지 검증하려고 할 때도 동일하게 NHST를 적용해서 효과를 검증할 수도 있습니다. 

 

1. NHST를 위한 기호와 정의

NHST에 대해서 알아보려면 NHST를 이루고 있는 그 요소들부터 알아봐야합니다. 그리고 앞으로 아래의 기호들을 사용할 예정입니다.

 

• $H_{0}$ : 귀무 가설(null hypothesis). 데이터를 생성하는 모델에 대한 기본 가설
• $H_{A}$ : 대립 가설(alternative hypothsis). 만약 귀무 가설이 기각 당하면 채택되는 가설
• $X$ : 시험 통계량(test statistic). 데이터로부터 계산되는 통계량
• 귀무 분포(null distribution). $H_{0}$라고 가정했을 때 $X$의 확률 분포
• 기각 영역(reject region). 만약 $X$가 기각 영역에 있다면 $H_{0}$를 기각하고 $H_{A}$를 선택
• 비기각 영역(non-reject region). 기각 영역의 여집합으로 $X$가 이 영역에 속하면 $H_{0}$를 기각하지 않는다.

여기서 귀무 가설을 기각하지 않는 다는 말을 "수용한다."(accept)보다 더 선호합니다. 왜냐하면 저희의 표본 데이터가 $H_{0}$를 기각하는 데 뒷받침이 되는 않기 때문에 수용한다고 보기는 어렵기 때문이죠. 

 

2. NHST

이번에는 실제로 NHST를 적용해봄으로서 감을 익혀보도록 하겠습니다.

 

동전이 공평한지 확인해보기 위해서 10번 던졌다고 가정하겠습니다. 만약 앞면이나 뒷면이 극단적으로 적거나 크다면 저희는 그 동전이 불공평하다고 의심할 것입니다. 예를 들어서 10번 중에서 앞면이 1번 나오거나, 9번 나오는 경우가 있겠죠. 이를 NHST를 사용하기 위한 언어로 바꾸는 과정이 필요합니다. 

 

먼저 $\theta$를 동전을 던졌을 때 앞면이 나오는 확률이라고 생각하도록 하겠습니다. 그러면 아래와 같이 귀무 가설, 대립 가설 등을 정의할 수 있습니다.

 

• $H_{0}$ : 동전이 공평하다. 즉, $\theta = 0.5$이다.
• $H_{A}$ : 동전이 불공평하다. 즉, $\theta \neq 0.5$이다.
• $X$ : 동전을 10번 던졌을 때 앞면이 나오는 횟수
• 귀무 분포 : 귀무 가설이 맞다고 가정했을 때 시험 통계량 $X$의 확률 분포이므로 $p(x|\theta = 0.5) \sim {\sf binomial(10, 0.5)}$가 됩니다. 따라서 아래와 같이 귀무 확률분포표를 작성할 수 있습니다.

• 기각 영역 : 동전이 "공평"하다는 것은 10번 던졌을 때 앞면과 뒷면이 공평하게 5개씩 나오는 경우입니다. 따라서 만약 앞면이 나온 횟수가 5번보다 너무 작거나 크면 $H_{0}$를 기각하게 됩니다. 이 경우 기각 영역은 $\{0, 1, 2, 8, 9, 10\}$이라고 생각할 수 있습니다. 물론 매우 극단적으로 $\{0, 1, 2, 3, 4, 6, 7, 8, 9, 10\}$과 같이 5번이 안나오면 전부 기각 영역으로 취할 수도 있습니다. 하지만 대부분의 기각 영역은 대략 그 확률이 누적확률분포로 생각했을 때 $0.95$보다 크거나 $0.05$보다 작은 확률에 대한 값으로 정합니다. 뭐드지 적당한게 좋으니까요! 따라서 저흭 같은 경우는 아래와 같습니다. 빨간색 영역에 해당하는 확률을 보면 각각 0.055로 꽤나 작은 확률임을 알 수 있습니다. 이 영역이 바로 저희가 정한 기각 영역이 됩니다.

 

위의 예시에서 주목할 점이 있습니다. 먼저, 귀무 가설에서 저희는 매우 강력한 증거가 없다면 동전이 불공평하다고 주장하지 않습니다. 위의 표와 같이 동전의 앞면이 나오는 횟수가 매우 극단적인 경우에만 귀무 가설을 기각할 수 있기 때문입니다. 여기서 "강력한 증거 = 매우 극단적인 경우"라고 생각하면 될 거 같습니다. 그리고 기각 영역은 귀무 분포의 꼬리 영역에 있다는 점입니다. 이때, 기각 영역을 결정하는 요소가 바로 유의 수준(signification level) $\alpha$가 됩니다. 위의 예시에서는 약 $\alpha = 0.5$정도 되는 것이죠. 

 

재미있는 문제로 귀무 가설 $H_{0}$가 참일 때 $H_{0}$가 기각당할 확률을 구할 수도 있습니다. 이를 통해서 알 수 있는 한가지는 기각이라는 말은 거짓과 다른 말이기 때문에 이에 조심히 사용해야합니다. 확률식은 조건부 확률을 사용하여 $P(rejecting H_{0} | H_{0} is true)$를 계산하면 됩니다. 이 확률식이 의미하는 것인 공정한 동전에서 10번 던졌을 때 기각 영역이 나올 확률을 의마하고 있습니다. 즉, 상단 표의 빨간색 영역의 확률의 합입니다. 왜냐하면 귀무 분포는 귀무 가설이 맞다고 가정했을 때 얻을 수 있는 확률 분포이기 때문이죠. 따라서 답은 0.11입니다. 

 

오늘은 귀무 가설의 유의성 검정에 대한 간단한 소개가 예시를 알아봤습니다. 다음 포스팅에서는 좀 더 정확한 이론적 배경에 대해서 설명하도록 하겠습니다.