안녕하세요. 지난 시간 기초통계학[23].공액 사전확률분포 1에서 우도가 베르누이 분포나 이항 분포를 따를 때 베타 분포가 공액 사전 확률분포임을 확인했습니다. 오늘은 이어서 정규 분포의 공액 사전 확률분포가 자기 자신임을 확인해보도록 하겠습니다. 본격적으로 시작하기 전에 데이터와 가설이 연속이라고 가정하겠습니다. 1. 정규 분포 어떤 데이터를 측정했을 때 $x \sim {\sf N}(\theta, \sigma^2)$를 얻었다고 가정하겠습니다. 단, $\sigma^{2}$을 알고 있다고 가정하겠습니다. 따라서 저희의 가설은 $\theta$입니다. 따라서 $f(x|\theta)$는 정규 분포를 따를 것입니다. 이제 사전 확률분포를 정규 분포라고 가정하겠습니다. 즉, $f(\theta) \sim {\sf N..
안녕하세요. 오늘은 지난 시간의 기초통계학[22].베이즈 추론 5(https://everyday-image-processing.tistory.com/43)을 통해서 연속 사전확률과 연속 데이터를 가지는 경우에 베이즈 추론을 해보았습니다. 오늘은 지난 시간에 언급했듯이 사전확률분포가 주어져있지 않은 경우 어떻게 해야하는 지 알아보도록 하겠습니다. 먼저 공액 사전 확률분포는 사전 확률분포와 사후 확률분포가 동일한 분포를 가지는 경우의 사전 확률분포라고 하였습니다. 대표적으로 베타 분포와 정규 분포가 있기 때문에 2가지를 중심으로 알아보도록 하겠습니다. 좀 더 정확한 정의는 아래와 같습니다. 우도 $f(x|\theta)$를 가지는 데이터를 가지고, $\theta$에 대한 사전 확률분포 역시 모수 기반 분포라고..
안녕하세요. 지난 포스팅에서는 기초통계학[21].베타 분포(https://everyday-image-processing.tistory.com/41)에 대해서 간단하게 알아보았습니다. 오늘은 베이즈 추론의 5번째 포스팅입니다. 지금까지 추론한 경우를 상기해보시면 이산 사전확률을 가지는 연속 사전확률을 가지는 항상 데이터 자체는 이산 데이터임을 떠올릴 수 있습니다. 이번에는 연속 사전확률과 연속 데이터를 가지는 경우에 베이즈 추론을 하는 방법에 대해서 알아보도록 하겠습니다. 1. 연속 가설과 연속 데이터 본격적으로 시작하기 전에 이산 데이터에서 연속 데이터로 바뀌었으므로 기호를 재정의하도록 하겠습니다. 물론 이전 기호와 동일한 경우도 있습니다. 가설 : $\theta$ 데이터 : $x$ 사전 확률 : $f(..
안녕하세요. 오늘은 지난 시간의 기초통계학[20].베이즈 추론 4(https://everyday-image-processing.tistory.com/39)에 이어서 이후에 중요하게 쓰이는 연속 확률분포인 베타 분포에 대해서 알아보겠습니다. 일단 베타 분포 $beta(a, b)$는 2개의 모수($a$, $b$)를 가지는 분포입니다. 이때 베타 분포의 정의역은 $[0, 1]$입니다. 확률 밀도함수는 아래와 같습니다. $$f(\theta)=\frac{(a+b-1)!}{(a-1)!(b-1)!}\theta ^{a-1}(1-\theta)^{b-1}$$ 지금보면 굉장히 복잡하고 이게 어디에 쓰일 지 감이 안오는 분포이지만 이후 포스팅에서 요긴하게 쓰입니다. 이번 포스팅에서는 베타 분포를 간단하게 설명만하고 넘어가도록..
안녕하세요. 오늘은 지난 시간은 기초통계학[19].오즈(https://everyday-image-processing.tistory.com/37)에 이어서 지금까지는 이산 사전 확률일 경우에 베이즈 추론을 진행했는데요. 오늘부터는 연속 사전 확률을 가지는 경우에 베이즈 추론을 진행해보도록 하겠습니다. 지금까지 저희는 유한 개의 가설을 가지는 경우에 대해서 베이즈 추론을 진행하였습니다. 이제부터는 가설이 연속 범위 내에 있을 때 베이즈 추론을 알아보겠습니다. 물론 가설이 이산에서 연속으로 바뀌었다고 해서 크게 달라진 것은 없으며 본질적으로는 동일합니다. 따라서 이산 사전확률일 때 베이즈 추론을 잘 이해하셨다면 연속 사전확률일 때도 충분히 이해하실수 있습니다. 본격적으로 진행하기 전에 가설이 연속 범위 내에 ..
안녕하세요. 오늘은 지난 시간의 기초통계학[19].베이즈 추론 2 - 확률론적 예측(https://everyday-image-processing.tistory.com/35)에 이어서 다소 생소한 개념인 오즈(Odds)에 대해서 알아보겠습니다. 1. 오즈(Odds) 오즈는 사실 어려운 개념은 아닙니다. 간단하게 이야기하면 두 사건이 발생할 확률의 비율을 표현한 것입니다. 이를 좀 더 정확하게 이야기하면 사건 $E$에 대한 다른 사건 $E^{'}$의 오즈는 두 사건이 발생할 확률의 비율인 $\frac{P(E)}{P(E^{'})}$을 의미합니다. 만약 $E^{'}$가 특정되지 않는 경우 사건 $E$의 여집합, 즉 $E^{c}$로 가정하기도 합니다. 따라서 사건 $E$의 오즈 $O(E) = \frac{P(E)}..
안녕하세요. 오늘은 지난 시간의 기초통계학[17].베이즈 추론 1(https://everyday-image-processing.tistory.com/33)에 이어서 '확률론적 예측'에 관해서 알아보겠습니다. 지난 시간에 베이즈 추론을 알아보았는 데 이를 위해서 데이터를 바탕으로 가설의 확률을 갱신하는 과정을 진행하였습니다. 이를 활용해서 이후에 가능한 결과를 확률로서 표현할 수 있습니다. 먼저, 일상에 확률을 내재하는 문장에 대해서 생각해보겠습니다. 크게 3가지로 나눌 수 잇습니다. 여기서 추정 확률 단어(words of estimative probability; WEP)라는 개념이 나오는 데 어려워 보이지만 '거의'와 같이 미래의 사건이 발생할 가능성을 전달할 수 있는 단어를 포함하는 문장입니다. 예측..
안녕하세요. 오늘은 지난 시간의 기초통계학[16].최대우도추정법(https://everyday-image-processing.tistory.com/30)에 이어서 본격적으로 베이즈 이론을 활용하는 베이즈 추론에 대해서 알아보도록 하겠습니다. 특히 오늘은 이산 사전 확률이 주어져 있을 경우에 대해서 알아보겠습니다. 1. 베이지안 법칙 제가 이전에 포스팅했던 기초통계학[3].조건부 확률, 독립, 베이지안 법칙(https://everyday-image-processing.tistory.com/8)에서 가장 마지막 부분을 보시면 베이지안 법칙을 언급하고 있습니다. 베이지안 법칙 자체는 조건부 확률의 모양을 뒤집은 것처럼 생겼습니다. 한번 더 보겠습니다. $H$와 $D$가 사건이라고 했을 때, 베이지안 법칙은 은..
