$p$값은 흔히 귀무가설 하에서 데이터가 나올 가능성으로 해석합니다. 따라서, $p$-값이 작으면 $H_{0}$는 그럴듯하지 않고 따라서 $H_{1}$이 그럴듯하다고 해석됩니다. 추론 과정은 다음과 같죠.
STEP1. 만약 귀무가설 $H_{0}$이 참이라면 이 검정통계량은 아마도 나오지 않을 것이다.
STEP2. 하지만 이 검정통계량이 실제로 나와버렸다.
STEP3. 그러므로 $H_{0}$는 그럴듯하지 않으므로 이 데이터에 대해서는 대립가설 $H_{1}$가 더 그럴듯하다.
하지만, 이것은 잘못된 추론 방법일 수 있습니다. 간단한 예시를 생각해보겠습니다. "만약 어떤 사람이 미국인이라면 그는 아마도 의회의원이 아닐것이다. 이 사람은 의회 의원이다. 따라서, 그는 아마도 미국인이 아닐 것이다." 엥? 뭔가 이상하지 않나요? 하지만, 이 과정이 지난 포스팅에서 보았던 NHST의 전반적인 흐름입니다.
다른 예시도 보도록 하죠. "만약 어떤 사람이 화성인이라면 그는 의회 의원이 아니다. 이 사람은 의회 의원이다. 따라서, 그는 화성인이 아니다." 이 과정은 맞는 결론을 도출하죠. 두 경우의 가장 큰 차이는 연역적(deduction) 추론을 사용한다는 것 입니다. 즉, 논리적 정의로부터 그 결과를 도출하죠. 좀 더 정확히 말하면 이 예시는 논리학해서 Modus Tollens라고 불리는 규칙을 사용합니다. 이는 $P \Rightarrow Q$의 형태의 정의에서 출발해 $¬Q$를 관찰했을 때 $¬P$를 결론으로 내리는 것 입니다.
반면 미국인 예시에서는 귀납법(induction)에 해당합니다. 즉, 관찰된 증거로부터 통계적 규칙성 (대부분의 미국인은 의회 의원이 아니라는 점)을 사용하여 가능하기는 하지만 반드시 참은 아닌 원인을 거슬러 추론하는 것이죠.
이와 같이 귀납법을 적용하려면 저희는 확률적 추론을 사용해야합니다. 특히, 귀무가설의 확률을 계산하려면 결국 베이즈 정리를 사용해야합니다.
$$p(H_{0} \mid \mathcal{D}) = \frac{p(\mathcal{D} \mid H_{0}) p(H_{0})}{p(\mathcal{D} \mid H_{0}) + p(\mathcal{D} \mid H_{1}) p(H_{1})}$$
만약, 사전분포가 균등하여 $p(H_{0}) = p(H_{1}) = 0.5$라고 가정하면 이는 우도비 $\text{LR} = \frac{p(\mathcal{D} \mid H_{0})}{p(\mathcal{D} \mid H_{1})}$을 통해 다음과 같이 쓸 수 있습니다.
$$p(H_{0} \mid \mathcal{D}) = \frac{\text{LR}}{\text{LR} + 1}$$
미국인 예시에서 $\mathcal{D}$가 그 사람이 의회 의원이라는 관찰입니다. 귀무가설 $H_{0}$는 그 사람이 미국인이라는 것이고 대립가설 $H_{1}$은 그가 미국인이 아니라는 것 입니다. 저희는 $p(\mathcal{D} \mid H_{0})$이 낮다고 가정합니다. 왜냐하면 실제로 대부분의 미국인들은 의회 의원이 아니기 때문이죠. 그러나 $p(\mathcal{D} \mid H_{1}) = 0$입니다. 왜냐하면 실제로 미국인만 의회 의원이 될 수 있기 때문에 가능한 사건이 아닙니다. 따라서, $\text{LR} = \infty$가 되고 $p(H_{0} \mid \mathcal{D}) = 1$이 됩니다. 이는 저희는 직관과 일치한 결과를 제공하지만 NHST는 $p(\mathcal{D} \mid H_{1})$과 사전분포 $p(H_{0})$를 무시하므로 잘못된 결과를 제공합니다.
