기초통계학[4].이산확률변수

안녕하세요. 오늘은 지난 시간의 기초통계학[3].조건부 확률, 독립, 베이지안 공식(https://everyday-image-processing.tistory.com/8)에 이어서 이산확률 변수에 대해서 학습하겠습니다.

 

1. 확률변수

본격적으로 시작하기 전에 과연 확률변수랑 무엇일까요? 이름만 들으면 확률 기반 변수와 같은 느낌이겠네요.

일단 저희가 기초통계학[2].확률 기초(https://everyday-image-processing.tistory.com/7)에서 배웠던 이산 표본 공간을 떠올리셨다면 아주 좋습니다.

 

- 이산 표본 공간(discrete sample space): 순서대로 나열 할 수 있는 표본 공간으로 집합의 크기는 유한할 수도 있지만 무한하더라도 상관없습니다.

 

Ex1. 6개의 면을 가진 주사위를 두 번 굴릴때 첫번째로 던진 주사위의 눈을 $i$, 두번째로 던진 주사위의 눈을 $j$라고 하면 매번 주사위를 굴릴때마다 $(i,j)$를 기록합니다. 이를 통해서 저희는 표본 공간을 정의할 수 있죠.

 

$\Omega = \{(1, 1), (1, 2), ... , (6, 6)\}=\{(i,j)|i, j = 1, 2, 3, 4, 5, 6\}$. 이때 모든 쌍이 나올 확률은 같기 때문에 각각의 쌍이 나올 확률은 $\frac{1}{36}$입니다. 이제 한가지 규칙을 추가합니다. 주사위의 쌍의 합이 7이라면 플레이어 1이 500원을 얻고, 7이 아니면 플레이어 2가 100원을 얻는다고 가정하겠습니다. 이 규칙에 따라서 payoff function을 정의할 수 있습니다.

$$X(i, j) = 500\ if\ i + j = 7, or -100\ if\ i + j \neq 7$$

-100인 이유는 payoff function에서 플레이어 1이나 2를 기준으로 두기 때문입니다. 플레이어 1을 기준으로 할 때 주사위 쌍의 합이 7이 아니라면 100원을 손해보는 입장이기때문에 -100으로 표기합니다.

 

위의 예제를 통해 얻는 payoff function은 확률 변수의 예시입니다. 확률 변수는 표본공간에서 각각의 결과에 대해서 숫자가 부여됩니다. 이를 정의하면 아래와 같습니다.

 

- 이산 확률 변수 : $\Omega$가 표본 공간이라고 했을 때, 이산 확률 변수는 표본 공간에서 실수로 사상되는 함수

 

그렇다면 $X$를 왜 확률 변수라고 말하는 걸까요? 이유는 간단합니다. Ex1에서 주사위를 굴린 결과는 굴리기 전까지 알 수 없습니다. 확률적이라는 뜻이죠. 심지어는 매 시행마다 결과가 바뀔수도 있습니다. 이처럼 $X$가 확률에 의존하기 때문에 확률 변수라고 말하게 됩니다. 또한, 확률 변수 $X$는 서로 더하고, 곱하는 연산을 취할 수도 있습니다.

 

1.1. 사건과 확률 변수

그렇다면 확률변수와 사건은 어떻게 연결되어 있을까요? 이것 역시 간단합니다. $X=a$는 $X(w)=a$가 되는 모든 $\omega$를 선택합니다. 그렇게 모든 $\omega$들은 집합이 되고, 이 집합은 표본 공간의 부분 집합이 되겠죠. 즉, 사건이 됩니다. $X=a$라는 말 자체가 사건이라는 것이죠.

 

Ex2. 이전에 봤던 Ex1에서 $X(i, j) = 500\ if\ i + j = 7, or -100\ if\ i + j \neq 7$를 바탕으로 이야기해보겠습니다. $X=500$이라는 뜻은 무엇일까요? 바로 확률 변수 $X$가 500이 되는 모든 경우의 수를 모은 것입니다. 이때, $X$가 500이 되기 위해서는 주사위 눈의 쌍의 합이 7이 되어야합니다. 주사위 눈의 쌍의 합이 7인 사건은 $(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)$입니다. 따라서, $P(X=500)=\frac{1}{6}$입니다.

 

참고로 $a$는 어떤 숫자가 와도 상관없습니다. 다만, 전혀 발생하지 않을 경우에는 그에 대응되는 사건은 공집합이 되기때문에 사건의 확률은 0입니다.

 

위의 예시의 경우 $X=10000$이 될 수 있는 사건은 주사위를 2개 굴리면서 얻을 수 있는 사건이 아닙니다. 따라서 절대 발생할 수 없는 사건이죠. 따라서, $P(X=10000)=0$이 됩니다.

 

1.2. 확률 밀도 함수(probability mass function; pmf)

먼저 표기부터 간단하게 바꾸고 시작하겠습니다. 지금까지 저희는 $P(X=a)$를 $X=a$가 발생할 확률이라고 하였습니다. 이것을 $P(X=a)=p(a)$로 간단하게 바꾸겠습니다. 확률 변수를 명확하게 적기 위해서 $p_{X}(a)$라고 표기할 수도 있습니다.

 

- 확률 밀도 함수 : 이산 확률 변수의 확률 밀도 함수는 $p(a)=P(X=a)$인 아래의 조건을 만족하는 함수입니다.

1. 모든 $a$에 대해서 $0 \le p(a) \le 1$

2. $a$는 어떠한 숫자가 와도 상관없습니다. 만약 $a$가 절대 얻을 수 없는 값이라면 $p(a)=0$입니다.

 

Ex3. 표본 공간을 2개의 주사위를 굴리는 경우라고 하면 확률 변수 $M$을 두 주사위 눈의 쌍의 최대값으로 정하겠습니다. 즉, $M(i, j)=max(i, j)$입니다. 이때, 확률 밀도 함수를 표로 그리시오.

Answer

우리는 가능한 값을 나열하고 값에 대한 확률을 아래의 표와 같이 나열함으로써 확률 변수를 그릴 수 있습니다.

1 -> (1, 1) -> 1개

2 -> (2, 1), (2, 2), (1, 2)-> 3개

3 -> (3, 1), (3, 2), (3, 3), (2, 3), (1, 3)-> 5개

4 -> (4, 1), (4, 2), (4, 3), (4, 4), (3, 4), (2, 4), (1, 4)-> 7개

5 -> (5, 1), (5, 2), (5, 3), (5, 4), (5, 5), (4, 5), (3, 5), (2, 5), (1, 5)-> 9개

6 -> (6, 1), (6, 2), (6, 3), (6, 4), (6, 5), (6, 6), (5, 6), (4, 6), (3, 6), (2, 6), (1, 6)-> 11개

value	$a$	1	2	3	4	5	6
pmf	$p(a)$	$\frac{1}{36}$	$\frac{3}{36}$	$\frac{5}{36}$	$\frac{7}{36}$	$\frac{9}{36}$	$\frac{11}{36}$

 

1.3. 사건과 부등식 표현

 

확률 변수를 부등식으로 표현가능합니다. $X \le a$란 $X(w) \le a$가 되는 모든 사건을 의미합니다. 위의 예시의 경우에는 $2 \le X \le 4$는 $X$가 2, 3, 4인 사건을 의미하므로 $\{(2, 1),(2, 2),(1, 2), (3, 1),(3, 2),(3, 3),(2, 3),(1, 3), (4, 1),(4, 2),(4, 3),(4, 4),(3, 4),(2, 4),(1, 4)\}$로 $P(2 \le X \le 4)=\frac{15}{36}$입니다.

 

1.4. 누적 분포 함수(cumulative distribution function; cdf)

- 누적 분포 함수: 확률 변수의 누적 확률 분포는 $F(a)=P(X \le a)$에 의해서 정의되는 함수 $F$를 의미합니다. 

 

Ex4. Ex3의 누적 확률 함수를 표로 작성하시오

Answer

value	$a$	1	2	3	4	5	6
pmf	$p(a)$	$\frac{1}{36}$	$\frac{3}{36}$	$\frac{5}{36}$	$\frac{7}{36}$	$\frac{9}{36}$	$\frac{11}{36}$
cdf	$F(a)$	$\frac{1}{36}$	$\frac{4}{36}$	$\frac{9}{36}$	$\frac{16}{36}$	$\frac{25}{36}$	$\frac{36}{36} = 1$

Ex4에서의 확률 밀도 함수와 누적 분포 함수의 그래프를 그려보면 아래와 같습니다.

 

확률 밀도 함수와 같이 누적 분포 함수에도 몇 가지 중요한 성질이 있습니다.

 

1. $F$는 감소하지 않는 함수입니다. 즉, $a \le b$ 라면 $F(a) \le F(b)$입니다.

2. 모든 $a$에 대해서 $0 \le F(a) \le 1$

3. $lim_{a \to \infty}F(a)=1$, $lim_{a \to -\infty}F(a)=0$

 

2. 대표적인 이산 확률 분포

2.1. 베르누이 분포(Bernouii Distribution)

베르누이 분포는 한번의 시행으로 무조건 두 가지 경우의 수 중 단 한가지의 결과(이러한 시행을 베르누이 시행이라고 합니다.)를 갖는 분포입니다. 이 분포는 앞으로 나올 분포들 중에서 가장 단순하지만 그만큼 활용도가 높은 분포이기 때문에 반드시 알아야하는 분포 중에 하나입니다.

 

그렇다면 확률 변수 $X$가 베르누이 분포를 따른다는 것은 어떤 의미일까요? 바로 확률 변수 $X$가 아래의 조건을 만족하는 확률 변수라는 의미입니다.

 

1. $X$는 항상 0또는 1의 값을 갖습니다.

2. $P(X=1)=p$ 이고 $P(X=0)=1-p$

 

이 경우 $X$ ~ $Bernoulli(p)$라고 표기합니다. 여기서 $p$는 $X=1$일 확률을 의미하며 정해져있을 수도 있고 심지어는 정해져 있지 않을 수도 있습니다. 정해져 있지 않은 경우에는 이전에 잠깐 언급했던 베이지안 이론을 활용하여 $p$의 신뢰도를 계산하게 됩니다. 이번 포스팅에서 중요하지 않은 내용이니 참고하시면 될 것 같습니다.

 

그럼 베르누이 분포는 어떤 경우에 존재할 까요? 바로 이전 포스팅부터 계속 활용했던 동전 뒤집기 예제입니다. 이 예제의 결과는 항상 동전이 앞면 또는 뒷면이 나오게 됩니다. 또한 각각의 확률은 공정하다면 0.5로 정해지겠죠.

 

2.2. 이항 분포(Binomial Distribution)

베르누이 분포를 이해했다면 이항 분포를 이해하는 것은 굉장히 쉽습니다. 왜냐하면 이항 분포는 베르누이 분포로부터 시작되기 때문이죠. 바로 전 절에 이야기 했지만 베르누이 분포는 단 한번의 시행만으로 통해서 0 또는 1이 결정되는 분포입니다. 이항 분포는 베르누이 실행을 여러번 반복한것이죠. 기호로는 $X \sim {\sf Bin}(n, p)$라고 하며 베르누이 시행을 n번 수행하는 분포입니다. 단, 베르누이 분포와 동일하게 $n$개의 모든 결과는 0 또는 1로 정해져야 합니다.

 

그렇다면 이항 분포의 예시는 어디서 찾을 수 있을까요? 베르누이 분포에서 왔으니 베르누이 분포의 예제인 동전 뒤집기를 활용할 수 있습니다. 1개만 뒤집던 동전을 10개를 뒤집거나, 100개를 뒤집거나 하면 그것이 이항 분포가 되는 것이죠.

 

*** 눈치 채신 분들도 있겠지만 베르누이 분포와 이항 분포의 관계는 $Bin(1, p)=Bernoulli(p)$입니다.

 

Ex5. 앞면이 나올 확률이 $p$인 동전을 $n$번 던질 때 확률 분포표를 그리세요.

Answer

이전의 예제보다 조금 더 복잡하지만 천천히 이해하면서 풀어보면 쉽습니다.

(1). 앞면이 0번 나오는 경우의 수->$\{T, T, T, T, ..., T\}$ -> $1$개

(2). 앞면이 1번 나오는 경우의 수->$\{H, T, T, T, ..., T\}, \{T, H, T, T, ..., T\}, ..., \{T, T, T, T, ..., H\}$ -> $n$개

(3). 앞면이 2번 나오는 경우의 수

->$\{H, H, T, T, ..., T\}, \{H, T, H, T, ..., T\}, ..., \{T, T, T, T, ...,H, H\}$->$(n-1) + (n-2) + (n-3) + ... + 1 = \frac{n(n-1)}{2}$개

규칙을 살펴보면 $n$개의 시행 중 $k$개의 앞면이 나오는 경우입니다. 이때, 앞면이 나오는 순서는 중요하지 않고 오직 앞면이 나온 개수만 중요하기 때문에 여기에 조합 공식을 적용할 수 있습니다. 따라서 $k$개의 앞면이 나오는 경우의 수는 $\binom{n}{k}=\frac{n!}{k!(n-k)!}$입니다.

이항 계수를 적용하여 확률 분포표를 정리하면 아래와 같습니다.

value	$a$	0	1	2	...	k	...	n
pmf	$p(a)$	$\binom{n}{0}p^{0}(1-p)^{n}$	$\binom{n}{1}p^{1}(1-p)^{n-1}$	$\binom{n}{2}p^{2}(1-p)^{n-2}$	...	$\binom{n}{k}p^{k}(1-p)^{n-k}$	...	$\binom{n}{n}p^{n}(1-p)^{0}$

 

2.3. 기하 분포(Geometric Distribution)

기하 분포 역시 동전 뒤집기로 간단하게 설명할 수 있습니다. 기하 분포에서 확률 변수는 1개의 동전을 던질 때 앞면이 나올 때까지 던졌을 때 뒷면이 나왔던 개수입니다.

 

예를 들어서 앞면이 나올때까지 5번 던졌다면 뒷면은 4번 나왔으므로 $X=4$입니다. 확률은 희박하겠지만 100번을 던져도 뒷면이 안나올 수도 있겠죠. 심지어는 100000번을 던져도 안나올 수도 있습니다. 그렇기때문에 $X$의 범위는 0을 포함하는 모든 자연수입니다. 물론 이전과는 반대로 $X$를 뒷면이 나올 때까지 던졌을 때 앞면이 나왔던 개수라고 해도 상관없습니다.

 

확률 변수 $X$가 기하분포를 따른다는 것 $X$가 아래의 조건을 만족하고 기호로는 $X \sim {\sf geometric}(p)$로 표기합니다.

 

1. $X=0, 1, 2, ...$

2. $p(k)=P(X=k)=(1-p)^{k}p$

 

기하분포식을 표로 표현하면 아래와 같습니다.

value	$a$	0	1	2	3	...	k	...
pmf	$p(a)$	$p$	$(1-p)p$	$(1-p)^{2}p$	$(1-p)^{3}p$	...	$(1-p)^{k}p$	...

 

2.4. 균등 분포(Uniform Distribution)

균등 분포는 모든 사건에서 확률이 동일합니다. 단순히 시행의 횟수만 매개변수로 들어갑니다. 즉, $N$번의 시행이 있다면 각각의 시행은 $\frac{1}{N}$의 확률을 나눠가짐으로써 모든 시행에 대한 확률이 동일하며 전부 더한다면 1이 나오게 되어 확률 질량 함수의 조건에 부합합니다.

 

3. 확률 변수 산술

2절 초반에 말했다싶이 확률 변수 $X$도 결국의 변수이기 때문에 간단한 대수적 산술(덧셈, 뺄셈, 곱셈, 제곱)이 가능합니다.

 

Ex6. 공평한 동전을 $n$번 던진다고 가정하고 각각의 시행을 $X_{j}$라고 했을 때 동전이 앞면이 나오면 $X_{j}=1$이고 뒷면이 나오면 $X_{j}=0$입니다. 따라서 각각의 시행은 $X_{j}$ ~ $Bernoulli(\frac{1}{2})$가 됩니다.

이때, $X$를 동전을 $n$번 던졌을 때 앞면의 개수라고 하면 $X \sim {\sf bino}(n, \frac{1}{2})$가 됩니다. 중요한 점은 $X$는 이항 분포를 따른다는 점이고 이항 분포는 결국 각각의 시행이 베르누이 시행이므로 $X=X_{1}+X_{2}+\dots+X_{n}$이 됩니다.

 

위의 예시와 같이 $n$개의 확률 변수에 대한 덧셈이 가능합니다. 이번에는 베르누이 분포나 이항 분포와 같이 잘 알려진 분포가 아닌 분포를 따르는 두 확률 변수의 덧셈 과정을 보겟습니다.

 

Ex7. $X$와 $Y$가 서로 독립인 확률 변수이며 아래의 표에 따른 확률 분포를 따른다고 가정하겠습니다.

value	$X$	1	2	3	4
pmf	$p_{X}(x)$	$\frac{1}{10}$	$\frac{2}{10}$	$\frac{3}{10}$	$\frac{4}{10}$

value	$Y$	1	2	3	4	5
pmf	$p_{Y}(y)$	$\frac{1}{15}$	$\frac{2}{15}$	$\frac{3}{15}$	$\frac{4}{15}$	$\frac{5}{15}$

$X+Y$가 따르는 분포는 어떤 분포일까요? 이전보다는 어려워보이는게 확률 변수의 범위도 다릅니다. 이러한 경우에 적용하는 방법은 2차 확률 분포 표를 그리는 것입니다. 세로축을 $X$ 그리고 가로축을 $Y$로 하겠습니다.(반대로 해도 상관없습니다.) 아래의 표와 같이 채울 수 있습니다.

	$Y$
$X$		1	2	3	4	5
	1	$\frac{1}{150}$	$\frac{2}{150}$	$\frac{3}{150}$	$\frac{4}{150}$	$\frac{5}{150}$	$\frac{1}{10}$
	2	$\frac{2}{150}$	$\frac{4}{150}$	$\frac{6}{150}$	$\frac{8}{150}$	$\frac{10}{150}$	$\frac{2}{10}$
	3	$\frac{3}{150}$	$\frac{6}{150}$	$\frac{9}{150}$	$\frac{12}{150}$	$\frac{15}{150}$	$\frac{3}{10}$
	4	$\frac{4}{150}$	$\frac{8}{150}$	$\frac{12}{150}$	$\frac{16}{150}$	$\frac{20}{150}$	$\frac{4}{10}$
		$\frac{1}{15}$	$\frac{2}{15}$	$\frac{3}{15}$	$\frac{4}{15}$	$\frac{5}{15}$	$1$

채운 다음 $X+Y$의 가능한 사건들에 대한 확률 분포 표를 한번 더 그려주면 아래의 표와 같이 됩니다.

$X+Y$	2	3	4	5	6	7	8	9
pmf	$\frac{1}{150}$	$\frac{4}{150}$	$\frac{10}{150}$	$\frac{20}{150}$	$\frac{30}{150}$	$\frac{34}{150}$	$\frac{31}{150}$	$\frac{20}{150}$

그렇다면 각기 다른 분포를 따르는 확률 변수 3개, 4개의 경우에는 어떤 식으로 처리할까요? 아직까지는 이 단원의 범위를 벗어나므로 기회가 되면 소개하겠습니다.

 

기초통계학[5].이산확률변수의 기댓값(https://everyday-image-processing.tistory.com/10)