안녕하세요. 오늘은 확률론에 있어서 가장 자주 언급되고 활용되는 가우시안 분포(Gaussian Distribution) 또는 정규 분포(Normal Distribution)에 대해서 알아보도록 하겠습니다. 실수형 확률변수 $y \in \mathbb{R}$를 표현하는 데 가장 널리 쓰이는 분포는 가우시안 분포 또는 정규 분포입니다. 1. 누적분포함수(Cumulative Distribution Function; CDF)연속형 확률분포 $Y$의 누적분포함수는 다음과 같이 정의됩니다. 이에 대한 자세한 내용은 Sec2.2 Random Variable에서 한번 설명드리기는 했으니 간단하게만 설명드리도록 하겠습니다. $$P(y) = \text{Pr}(Y \le y)$$ 즉, 확률변수 $Y$가 어떤 값 $y$ 이..
어떤 변수가 유한한 개수의 범주(클래스, 레이블) 중 하나를 취할 때, 예를 들어 $y = \{ 1, 2, \dots, C \}$ 처럼 나타낼 수 있을 때, 이를 표현하기 위한 확률 분포로 범주형 분포(Categorical distribution)를 사용합니다. 1. 정의(Definition)범주형 분포는 일종의 이산 확률 분포로, 각 클래스마다 하나의 확률 파라미터를 가지고 있습니다. 이를 수식으로 표현하면 다음과 같습니다. $$\text{Cat}(y | \mathbf{\theta}) = \prod_{c = 1}^{C} \theta^{\mathbb{I}(y = c)}_{c}$$ 위 수식은 간단히 말해서, 특정 클래스 $c$가 선택될 확률이 $\theta_{c}$라는 의미힙니다. 즉, 클래스 $c$일 확..
1. 정의(Definition)아마 가장 간단한 확률분포 중 하나인 베르누이(Bernoulli) 분포는 이진(binary) 사건, 즉 두 가지 결과 중 하나만 나오는 사건을 모델링하는 데 사용됩니다. 동전 던지기를 예로 들어봅시다. 동전이 앞면이 나올 확률을 $0 \le \theta \le 1$이라고 하면, 동전이 앞면인 사건을 $Y = 1$ 그리고 뒷면인 사건을 $\theta = 0$으로 나타낼 수 있습니다. 이때 사건의 확률은 다음과 정의됩니다. - 앞면일 확률: $p(Y = 1) = \theta$- 뒷면일 확률: $p(Y = 0) = 1 - \theta$ 이것을 베르누이 분포(Beronoulli Distribution)이라고 하며 $Y \sim \text{Ber}(\theta)$로 표기합니다. ..
1. 베이즈 추론(Bayesian inference) Bayes’s theorem is to the theory of probability what Pythagoras’s theorem is to geometry. — Sir Harold Jeffreys, 1973 위 문구에서도 알 수 있다싶이 확률론에서 베이즈 이론의 중요성을 매우 크게 강조하고 있습니다. 기하학의 대표적인 정리가 피타고라스 정리라면 확률론의 대표적인 정리는 베이즈 이론이죠. 오늘은 본격적으로 베이즈 추론(Bayesian inference)의 기초에 대해 살펴보겠습니다. 우선 ‘추론(inference)’이라는 말은 사전적으로는 "표본 데이터를 바탕으로 일반적인 결론으로 나아가는 행위로, 일반적으로 확신의 정도를 계산하여 진행하는 것"을..
확률변수(random variable)는 관심 있는 어떤 불확실한 값을 나타낼 때 사용합니다. 예를 들어 주사위를 던졌을 때 나오는 숫자나 현재 집 밖의 기온처럼, 값이 미리 정해지지 않았거나 변할 수 있는 경우가 이에 해당됩니다. 확률변수를 보통 $X$라고 표현하며, 가능한 값들의 집합을 표본공간(sample space) 또는 상태공간(state space)이라고 합니다. 하나의 사건(event)이란 이 표본공간에서 특정 결과들의 집합을 의미합니다. 예컨대, 주사위를 던졌을 때 나오는 숫자를 확률변수 $X$라 하면, 표본공간은 $X = \{ 1, 2, 3, 4, 5, 6 \}$이며, ‘1이 나오는 사건’은 $X = 1$, ‘홀수가 나오는 사건’은 $X = \{ 1, 3, 5 \}$, ‘1부터 3까지의 ..
안녕하세요. 지난 포스팅에서 기계학습 분야에서 왜 확률이라는 개념이 중요한 지에 대해서 설명을 드렸습니다. 오늘은 본격적으로 앞으로 공부할 때 필요한 핵심점인 개념들에 대해서 배워보도록 하겠습니다. 1. What is the Probability? Probability theory is nothing but common sense reduced to calculation. — Pierre Laplace, 1812 일반적으로 우리는 공전한 동전을 기준으로 앞면이 나올 확률이 50%라고 말하는 데 익숙합니다. 하지만, 이 말이 무슨 의미일까요? 사실 이에는 두 가지의 서로 다른 해석이 있습니다. - 빈도주의(Frequentist) 해석: 이 관점에서 확률은 여러 번 일어날 수 있는 '장기적 빈도(long ..
안녕하세요. 오늘은 생체신호 중 가장 대표적인 EEG (Electroencephalography)을 CNN과 Vision Transformer를 결합하여 회귀 (regression) 성능을 향상시킨 EEGViT에 대해서 소개하도록 하겠습니다. BackgroundBrain-Computer Interface (BCI)는 위 그림과 같이 뇌와 외부 장비를 직접적으로 연결하여 인간과의 상호작용을 돕는 연구입니다. 위 그림과 같이 운동 재활 (Motor Reabiliation), 감정 인식 (Emotion Recognition), 그리고 인간-기계 상호작용 (Human-Machine Interaction; HMI)가 대표적으로 활용되는 분야입니다. BCI 연구에서 가장 핵심이 되는 데이터가 바로 EEG (E..
안녕하세요. 오늘은 CNN과 Transformer를 layer-wise cascading한 방식으로 혼합하고자 했던 UTNet에 대한 소개를 하도록 하겠습니다. UTNet: A Hybrid Transformer Architecture for Medical Image SegmentationTransformer architecture has emerged to be successful in a number of natural language processing tasks. However, its applications to medical vision remain largely unexplored. In this study, we present UTNet, a simple yet powerful hybri..
