[PML intro] Ch4 Statistics (Sec4.7 Frequentist Statistics - 1)

저희가 Section 4.6에서 살펴본 통계적 추론 방식은 베이즈 통계(Bayes Statistics)입니다. 베이즈 통계의 핵심은 모델의 파라미터 $\theta$를 다른 미지의 확률 변수와 동일하게 취급하며 베이즈 정리를 기반으로 관측된 데이터셋 $\mathcal{D}$을 바탕으로 파라미터 $\theta$의 사후 분포 $p(\theta \mid \mathcal{D})$를 추론하죠. 이를 통해, 새로운 데이터에 대한 예측 분포 및 불확실성 등을 모델링할 수 있었습니다. 

 

이에 비해 모수를 확률 변수로 취급하지 않고 사전 분포 및 베이즈 정리도 사용하지 않는 새로운 통계적 추론 방식도 존재합니다. 이를 빈도주의 통계(Frequentist Statistics), 고전적 통계(Classical Statistics), 정통 통계(Orthodox Statistics)라고 부릅니다.

 

빈도주의 통계의 핵심적인 아이디를 살펴보겠습니다. 일단, 데이터를 조금씩 바꾸어서 반복 실험을 수행한다고 가정합니다. 그때 데이터를 기반으로 추정한 어떠한 양 (파라미터 및 예측된 레이블)이 어떻게 변할 지를 계산해 불확실성을 표현하죠. 즉, 반복 실험에서의 변동성이 빈도주의 접근에서 말하는 확률의 근거이죠. 

 

반면, 베이즈 접근은 확률을 정보의 측면에서 해석합니다. 그 결과, 단 한번의 사건에서도 확률을 계산할 수 있었죠. 또한, 베이즈 방법은 빈도주의 접근에 내재된 몇 가지 역설도 피할 수 있습니다. 이러한 문제점으로 인해 저명한 통계학자인 조지 박스는 다음과 같이 언급하였습니다. 

 

I believe that it would be very difficult to persuade an intelligent person that current [frequentist]
statistical practice was sensible, but that there would be much less difficulty with an approach
via likelihood and Bayes’ theorem. — George Box, 1962

 

그럼에도 불구하고 빈도주의 통계는 널리 사용되고 있으며, 베이즈주의자에게도 유용한 핵심 개념들을 제공합니다