1. 정의(Definition)저희는 MLE를 보다 일반적인 형태로 더 확장할 수 있습니다. MLE는 기본적으로 NLL을 최소화하는 $\theta$를 찾는 것으로 아래의 식에 대한 최적화를 수행합니다. $$l(y_{n}, \theta; x_{n}) = -\log p(y_{n} \mid x_{n}, \theta)$$ 하지만, 반드시 로그 손실만 써야하는 법은 없습니다. 로그 손실대신 임의의 손실함수 $l(\cdot)$을 넣어도 동일한 틀은 유지하면서 다른 방식으로 최적화를 수행할 수 있습니다. 이렇게 하면 다음과 같이 경험적 위험(Empirical Risk)를 최소화하는 문제를 일반화할 수 있습니다. $$\mathcal{L}(\theta) = \frac{1}{N} \sum_{n = 1}^{N} l(y_..
안녕하세요. 지난 포스팅에서는 이산확률분포에서 MLE를 적용하는 방법에 대해서 알아보았습니다. 오늘은 연속확률분포에서 MLE를 적용하는 예시를 보도록 하겠습니다. 1. 단변량 가우시안 분포의 MLE(MLE for the Univariate Gaussian)연속확률분포하면 역시 가우시안이죠. 그중에서도 단변량 가우시안 분포에 대한 MLE를 계산해보도록 하겠습니다. 간단하게 몇 가지 셋팅을 해보겠습니다! 관측 데이터 $Y$가 평균이 $\mu$이고 표준편차가 $\sigma$인 단변량 가우시안 분포를 따른다고 가정하겠습니다. 즉, $Y \sim \mathcal{N}(\mu, \sigma^{2})$인 것이죠. 그러면 저희의 목표는 $N$개의 관측 데이터 샘플들 $\mathcal{D} = \{y_{n} \mid ..
지난 포스팅에서는 MLE에 대한 간단한 정의와 베이지안 관점 그리고 경험적 분포 관점에서의 MLE에 대해서 알아보았습니다. 오늘은 두 가지 간단한 예시를 통해 이산확률분포에서의 MLE를 더 깊게 알아보도록 하겠습니다. 1. 베르누이 분포의 MLE(MLE for the Bernoulli distribution)이번에는 동전 던지기 문제를 통해 MLE를 직접 계산해보도록 하겠습니다. $Y$를 동전 던지기 결과를 표현하는 확률 변수라고 하겠습니다. 즉, $Y = 1$이라면 앞면을 의미하고 $Y = 0$이라면 뒷면을 의미합니다. 그리고 $\theta = p(Y = 1)$로 정의하여 앞면이 나올 확률, 즉 베르누이 분포의 파라미터로 정의하겠습니다. 이전 포스팅에서 보았던 NLL을 계산해보도록 하겠습니다. $$..
1. 정의(Definition)모델의 파라미터를 추정할 때 가장 흔히 쓰이는 방법은 훈련 데이터에 가장 높은 확률을 부여하는 파라미터를 고르는 것 입니다. 이를 최대우도추정(Maximum Likelihood Estimation; MLE)라고 부르며 다음과 같이 정의됩니다. $$\hat{\theta}_{\text{mle}} = \text{argmax}_{\theta} p(\mathcal{D} \mid \theta) $$ 여기서 $\mathcal{D}$는 전체 훈련 데이터를 의미합니다. 대부분의 경우 각 훈련 샘플은 같은 분포에서 독립적으로 추출(Independent and Identically Distributed; IID)되었다는 가정을 합니다. 이를 통해 조건부 우도는 다음과 같이 곱으로 전개할 수 ..
지금까지 저희는 확률 모델의 모든 파라미터 $\theta$를 이미 알고 있다고 가정하였습니다. 이번 챕터부터는 데이터를 통해 이러한 확률 분포의 파라미터 $\theta$를 학습하는 방법에 대해서 알아보도록 하겠습니다. 데이터 $\mathcal{D}$로부터 $\theta$를 추정하는 과정을 모델 피팅(Model Fitting) 또는 학습(Training)이라고 하며, 이는 기계학습(Machine Learning; ML)의 핵심단계입니다. 데이터 $\mathcal{D}$에 대한 최적해 $\hat{\theta}$를 얻는 방법은 매우 다양하지만 결국 다음과 같은 최적화 문제로 귀결됩니다. $$\hat{\theta} = \text{argmin}_{\theta} \mathcal{L}(\theta)$$ 여기서 $..
1. 정의(Definition) I basically know of two principles for treating complicated systems in simple ways: the first is the principle of modularity and the second is the principle of abstraction. I am an apologist for computational probability in machine learning because I believe that probability theory implements these two principles in deep and intriguing ways — namely through factorization and th..
1. 정의(Definition)지금까지 저희는 가우시안 분포 또는 베르누이 분포 등 단일 분포를 중심으로 알아보았습니다. 하지만 현실 세계에서는 다양한 복잡한 분포들이 더 존재할 수 있습니다. 이를 위해 사용할 수 있는 방법이 바로 혼합 모델(Mixture Model) 입니다. 즉, 간단한 분포들을 볼록 결합(Convex Combination)을 통해 사용하는 것이죠. 수식적으로는 다음과 같이 정의됩니다. $$p(\mathbf{y} \mid \mathbf{\theta}) = \sum_{k = 1}^{K} \pi_{k} p_{k}(\mathbf{y})$$ 여기서 $p_{k}(\mathbf{y})$는 $k$번째 혼합 성분(Mixture Component)으로 확률 분포라고 생각하시면 됩니다. 그리고 $\p..
오늘은 지수족(Exponential Family)라고 불리는 확률 분포 집합들을 알아보도록 하겠습니다. 지수족은 정규 분포, 이상 분포, 포아송 분포처럼 우리가 자주 접하는 다양한 분포를 하나의 통일된 수식으로 묶어서 설명하기 때문에 확률론 기반의 머신러닝에서 아주 중요한 역할을 수행합니다. 1. 정의(Definition)먼저 지수족을 정의해보도록 하겠습니다. 확률변수 $y$가 취할 수 있는 영역을 $\mathcal{Y} \in \mathbb{R}^{D}$라고 하고 차원이 $K$인 파라미터 $\boldsymbol{\eta}\in\mathbb{R}^K$로 분포가 결정된다고 가정하겠습니다. 분포 $p(y\mid\boldsymbol{\eta})$가 지수족에 속한다는 것은 그 PDF 또는 PMF가 다음과 같이..
