안녕하세요. 지난 포스팅의 기초통계학[26].예측 구간에서는 사전 확률분포를 모를 때 합리적인 사전 확률분포를 선택하는 방법에 대해서 알아보았습니다. 물론 이는 굉장히 주관적인 내용을 담고 있기 때문에 개개인이 서로 다른 사전 확률분포를 선택할 수도 있다라는 것을 언급하였습니다. 지금까지는 베이지안 관점의 통계학을 알아보았습니다. 오늘부터는 빈도론자(Frequentist) 관점의 통계학을 알아보도록 하겠습니다. 사실 고등학교에서 배우는 통계학은 제가 기억하기로는 빈도론자 관점의 통계학일 것입니다. 대표적인 예시로 신뢰 구간, $p$ 값, $t$ 검정, $\chi^{2}$ 검정입니다. 하지만, 최근의 머신러닝에서는 고속 컴퓨팅에 있어서 베이지안 관점의 통계학을 적용하는 것이 일반화되고 있습니다. 오늘은 두..
안녕하세요. 지난 시간의 기초통계학[25].공액 사전 확률분포 선택에 이어서 오늘은 예측 구간에 대해서 알아보도록 하겠습니다. pmf $p(\theta)$와 pdf $f(\theta)$가 있다고 가정하겠습니다. 이때 각각의 $p(\theta)$, $f(\theta)$는 알지못하는 모수(unknown parameter) $\theta$에 대한 신뢰 정보를 표현한다고 가정하겠습니다. 그러면 $\theta$에 대한 $p$ 예측 구간(probability interval)은 $P(a \le \theta \le b) = p$인 구간 $[a, b]$로 정의됩니다. 예측 구간에 대한 자세한 설명은 위키피디아 문서를 참조해주시길 바랍니다. 이때, 이산 확률변수와 연속 확률변수에 대해서 비슷하지만 확률이 다르게 정의되기..
안녕하세요. 그 동안 시험 기간과 여러가지 일이 겹쳐서 포스팅을 하지 못했습니다. 시험 기간도 조만간 끝나고 머리도 좀 식힐 겸 쉬운 내용을 포스팅하도록 하겠습니다. 지난 시간에는 기초통계학[24].공액 사전 확률분포 2에서 정규분포의 사전 확률분포가 자기 자신임을 증명하여 정규 분포는 공액 사전 확률분포임을 확인하였습니다. 그리고 기초통계학[23].공액 사전 확률분포 1에서는 베타 분포의 사전 확률분포가 자기 자신임을 증명하여 베타 분포는 공액 사전 확률분포임을 확인하였습니다. 그리고 기초통계학[22].베이즈 추론 5, 기초통계학[20].베이즈 추론 4에서는 사전 확률분포가 미리 주어진 상태에서 베이즈 추론을 진행하였습니다. 사전 확률분포가 미리 주어진다는 것은 저희가 이미 어떤 도메인 지식을 알고 있..
안녕하세요. 지난 시간 기초통계학[23].공액 사전확률분포 1에서 우도가 베르누이 분포나 이항 분포를 따를 때 베타 분포가 공액 사전 확률분포임을 확인했습니다. 오늘은 이어서 정규 분포의 공액 사전 확률분포가 자기 자신임을 확인해보도록 하겠습니다. 본격적으로 시작하기 전에 데이터와 가설이 연속이라고 가정하겠습니다. 1. 정규 분포 어떤 데이터를 측정했을 때 $x \sim {\sf N}(\theta, \sigma^2)$를 얻었다고 가정하겠습니다. 단, $\sigma^{2}$을 알고 있다고 가정하겠습니다. 따라서 저희의 가설은 $\theta$입니다. 따라서 $f(x|\theta)$는 정규 분포를 따를 것입니다. 이제 사전 확률분포를 정규 분포라고 가정하겠습니다. 즉, $f(\theta) \sim {\sf N..
안녕하세요. 오늘은 지난 시간의 기초통계학[22].베이즈 추론 5(https://everyday-image-processing.tistory.com/43)을 통해서 연속 사전확률과 연속 데이터를 가지는 경우에 베이즈 추론을 해보았습니다. 오늘은 지난 시간에 언급했듯이 사전확률분포가 주어져있지 않은 경우 어떻게 해야하는 지 알아보도록 하겠습니다. 먼저 공액 사전 확률분포는 사전 확률분포와 사후 확률분포가 동일한 분포를 가지는 경우의 사전 확률분포라고 하였습니다. 대표적으로 베타 분포와 정규 분포가 있기 때문에 2가지를 중심으로 알아보도록 하겠습니다. 좀 더 정확한 정의는 아래와 같습니다. 우도 $f(x|\theta)$를 가지는 데이터를 가지고, $\theta$에 대한 사전 확률분포 역시 모수 기반 분포라고..
안녕하세요. 지난 포스팅에서는 기초통계학[21].베타 분포(https://everyday-image-processing.tistory.com/41)에 대해서 간단하게 알아보았습니다. 오늘은 베이즈 추론의 5번째 포스팅입니다. 지금까지 추론한 경우를 상기해보시면 이산 사전확률을 가지는 연속 사전확률을 가지는 항상 데이터 자체는 이산 데이터임을 떠올릴 수 있습니다. 이번에는 연속 사전확률과 연속 데이터를 가지는 경우에 베이즈 추론을 하는 방법에 대해서 알아보도록 하겠습니다. 1. 연속 가설과 연속 데이터 본격적으로 시작하기 전에 이산 데이터에서 연속 데이터로 바뀌었으므로 기호를 재정의하도록 하겠습니다. 물론 이전 기호와 동일한 경우도 있습니다. 가설 : $\theta$ 데이터 : $x$ 사전 확률 : $f(..
안녕하세요. 오늘은 지난 시간의 기초통계학[20].베이즈 추론 4(https://everyday-image-processing.tistory.com/39)에 이어서 이후에 중요하게 쓰이는 연속 확률분포인 베타 분포에 대해서 알아보겠습니다. 일단 베타 분포 $beta(a, b)$는 2개의 모수($a$, $b$)를 가지는 분포입니다. 이때 베타 분포의 정의역은 $[0, 1]$입니다. 확률 밀도함수는 아래와 같습니다. $$f(\theta)=\frac{(a+b-1)!}{(a-1)!(b-1)!}\theta ^{a-1}(1-\theta)^{b-1}$$ 지금보면 굉장히 복잡하고 이게 어디에 쓰일 지 감이 안오는 분포이지만 이후 포스팅에서 요긴하게 쓰입니다. 이번 포스팅에서는 베타 분포를 간단하게 설명만하고 넘어가도록..
안녕하세요. 오늘은 지난 시간은 기초통계학[19].오즈(https://everyday-image-processing.tistory.com/37)에 이어서 지금까지는 이산 사전 확률일 경우에 베이즈 추론을 진행했는데요. 오늘부터는 연속 사전 확률을 가지는 경우에 베이즈 추론을 진행해보도록 하겠습니다. 지금까지 저희는 유한 개의 가설을 가지는 경우에 대해서 베이즈 추론을 진행하였습니다. 이제부터는 가설이 연속 범위 내에 있을 때 베이즈 추론을 알아보겠습니다. 물론 가설이 이산에서 연속으로 바뀌었다고 해서 크게 달라진 것은 없으며 본질적으로는 동일합니다. 따라서 이산 사전확률일 때 베이즈 추론을 잘 이해하셨다면 연속 사전확률일 때도 충분히 이해하실수 있습니다. 본격적으로 진행하기 전에 가설이 연속 범위 내에 ..
