1. 정의(Definition)지금까지 저희는 가우시안 분포 또는 베르누이 분포 등 단일 분포를 중심으로 알아보았습니다. 하지만 현실 세계에서는 다양한 복잡한 분포들이 더 존재할 수 있습니다. 이를 위해 사용할 수 있는 방법이 바로 혼합 모델(Mixture Model) 입니다. 즉, 간단한 분포들을 볼록 결합(Convex Combination)을 통해 사용하는 것이죠. 수식적으로는 다음과 같이 정의됩니다. $$p(\mathbf{y} \mid \mathbf{\theta}) = \sum_{k = 1}^{K} \pi_{k} p_{k}(\mathbf{y})$$ 여기서 $p_{k}(\mathbf{y})$는 $k$번째 혼합 성분(Mixture Component)으로 확률 분포라고 생각하시면 됩니다. 그리고 $\p..
오늘은 지수족(Exponential Family)라고 불리는 확률 분포 집합들을 알아보도록 하겠습니다. 지수족은 정규 분포, 이상 분포, 포아송 분포처럼 우리가 자주 접하는 다양한 분포를 하나의 통일된 수식으로 묶어서 설명하기 때문에 확률론 기반의 머신러닝에서 아주 중요한 역할을 수행합니다. 1. 정의(Definition)먼저 지수족을 정의해보도록 하겠습니다. 확률변수 $y$가 취할 수 있는 영역을 $\mathcal{Y} \in \mathbb{R}^{D}$라고 하고 차원이 $K$인 파라미터 $\boldsymbol{\eta}\in\mathbb{R}^K$로 분포가 결정된다고 가정하겠습니다. 분포 $p(y\mid\boldsymbol{\eta})$가 지수족에 속한다는 것은 그 PDF 또는 PMF가 다음과 같이..
오늘 포스팅에서는 MVN을 기반으로한 선형 모델인 선형 가우시안 시스템(Linear Gaussian System; LGS)에 대해서 알아보도록 하겠스니다. 일단 모델을 가정하기 위해 잠재변수 $\mathbf{z} \in \mathbb{R}^{L}$이라고 하고 관측변수는 $\mathbf{y} \in \mathbb{R}^{D}$라고 하겠습니다. 그리고 추가적으로 이 변수들이 다음과 같은 관계식을 만족한다고 가정하겠습니다. $$\begin{cases} p(\mathbf{z}) &= \mathcal{N}(\mathbf{z}|\mu_{z}, \Sigma_{z}) \\ p(\mathbf{y}|\mathbf{z}) &= \mathcal{N}(\mathbf{y}|\mathbf{W}\mathbf{z} + \mathbf..
연속형 확률변수의 공동 확률분포 가운데 가장 널리 쓰이는 것은 다변량 가우시안 (Multivariate Gaussian, MVG) 또는 다변량 정규 분포(Multivariate Normal, MVN)입니다. 수학적으로 다루기 편리할 뿐 아니라, 실제 데이터에서도 “가우시안 가정”이 의외로 잘 맞는 경우가 많기 때문입니다. 1. 정의(Definition)다변량 정규분포의 PDF는 다음과 같이 정의됩니다. $$\mathcal{N}(\mathbf{y}|\mathbf{\mu}, \Sigma) = \frac{1}{(2\pi)^{\frac{D}{2}}|\Sigma|^{\frac{1}{2}}}\text{exp} \left[ -\frac{1}{2} (\mathbf{y} - \mathbf{\mu})^{T}\Sigma^..
1 공분산(Covariance)두 확률변수 $X$와 $Y$ 사이의 공분산은 두 변수가 서로 얼마나 선형적으로 관련되어 있는지를 나타내는 지표이며 다음과 같이 정의됩니다. $$\text{Cov}[X, Y] = \mathbb{E}[(X - \mathbb{E}[X])(Y - \mathbb{E}[Y])] = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y]$$ 이때, 공분산 $\text{Cov}[X, Y]$이 양수라면 둘이 함께 증가(양의 상관성을 가짐)하게 되고 음수라면 한쪽이 증가할 때 다른 쪽은 감소(음의 상관성을 가짐)지며 0이라면 선형적인 상관관계가 없음을 의미합니다. 1.1 고차원 벡터의 공분산 행렬$x$가 $D$차원 랜덤 벡터일 때 그 공분산 행렬은 다음과 같이 정의..
어떤 확률변수 $X$가 확률분포 $p(x)$를 따른다고 할 때, 이 확률변수에 특정한 결정적 변환(determistic transformation) $y = f(x)$를 적용하면 새로운 확률변수 $Y$가 만들어집니다. 오늘은 변환으로 새롭게 얻은 확률변수 $Y$의 확률분포 $p(y)$의 특성을 다루어보도록 하겠습니다. 1. 이산형 확률변수의 경우만약 $X$가 이산형 확률변수인 경우 새로운 확률변수 $Y = f(X)$의 PMF를 구해보겠습니다. 즉, $Y$가 특정한 값 $y$를 가질 확률 $p_{y}(y)$는 원래 확률변수 $X$의 값들 중에서 $f(x) = y$라는 조건을 만족하는 모든 $x$들의 확률을 합산하는 것과 동일하므로 다음과 같이 계산할 수 있습니다. $$p_{y}(y) = \sum_{x:..
1 스튜던트 $t$-분포(Student's $t$-distribution)일반적으로 많이 사용하는 가우시안 분표는 이상치(outlier)에 민감한 단점이 있습니다. 이에 비해 좀 더 이상치에 강건(robust)한 분포가 있는데, 그것이 바로 스튜던트 $t$-분포 (Student's $t$-distribution)입니다. 여기서는 간단히 "스튜던트 분포"라고 부르도록 하겠습니다. 스튜던트 분포의 PDF는 다음과 같은 형태로 표현됩니다. $$\mathcal{T}(y|\mu,\sigma^{2},\nu) \propto \left[ 1 + \frac{1}{\nu} \left( \frac{y - \nu}{\sigma} \right)^{2} \right]^{-\frac{\nu + 1}{2}}$$ 여기서 가우시안 ..
안녕하세요. 오늘은 확률론에 있어서 가장 자주 언급되고 활용되는 가우시안 분포(Gaussian Distribution) 또는 정규 분포(Normal Distribution)에 대해서 알아보도록 하겠습니다. 실수형 확률변수 $y \in \mathbb{R}$를 표현하는 데 가장 널리 쓰이는 분포는 가우시안 분포 또는 정규 분포입니다. 1. 누적분포함수(Cumulative Distribution Function; CDF)연속형 확률분포 $Y$의 누적분포함수는 다음과 같이 정의됩니다. 이에 대한 자세한 내용은 Sec2.2 Random Variable에서 한번 설명드리기는 했으니 간단하게만 설명드리도록 하겠습니다. $$P(y) = \text{Pr}(Y \le y)$$ 즉, 확률변수 $Y$가 어떤 값 $y$ 이..
