기초통계학[5]. 이산확률변수의 기댓값

안녕하세요. 오늘은 지난 시간의 기초통계학[4].이산확률변수(https://everyday-image-processing.tistory.com/9)에 이어서 이산확률변수의 기댓값을 알아보겠습니다.

 

1. 기댓값(Expected Value)

기댓값과 동일한 말은 평균(mean)입니다. 평균에 대해서는 다들 아실꺼라고 생각하니 간단한 예제로 시작하겠습니다.

 

Ex1. 5개의 면에는 3, 1개의 면에는 6으로 적혀있는 각 면이 나올 확률이 동일한 주사위가 있다고 했을 때, 주사위를 6000번 굴리면 평균적으로 어떤 숫자가 많이 나올것인가? 또는 기대되는가?

Answer

주사위의 5개의 면에는 3, 1개의 면에는 6이 적혀있고 각 면이 나올 확률이 동일하기 때문에 각각의 숫자가 나올 확률은 $\frac{5}{6}$, $\frac{1}{6}$입니다. 따라서 6000번을 굴린다면 아래의 표와 같이 작성할 수 있습니다.

 

value	3	6
expected counts	5000	1000

이러한 분포의 평균은 $\frac{5000 \cdot 3 + 1000 \cdot 6}{6000}=\frac{5}{6} \cdot 3 + \frac{1}{6} \cdot 6=3.5$가 되고 대체적으로 3이 더 많이 나올 것으로 '기대'할수 있습니다.

 

 

Ex2. 2개의 6면체의 주사위가 있을 때 두 주사위 눈의 앞이 2라면 1000원을 얻고 2가 아니라면 100원을 잃는다고 한다면 각 시행마다 평균적으로 얼마의 이득을 얻을 것으로 기대할 수 있는가?

Answer

이전 포스팅의 예제를 참고하면 주사위 눈의 앞이 2가 될 확률은 $\frac{1}{36}$입니다. 따라서 N번의 게임을 하게 되면 2가 횟수는 $\frac{1}{36} \cdot N$이 될 것이라고 기대는 할 수 있습니다.(물론 무조건 $\frac{1}{36} \cdot N$이 되는 것은 아니겠지만 다른 값이 되는 것보다는 일리가 있습니다.) 동일하게 2가 나오지 않는 횟수는 $\frac{35}{36} \cdot N$이 될 것이라고 기대는 할 수 있을 것입니다.

이제 N번의 게임을 할 때 얻는 수익이나 손해는 얼마로 기대할 수 있을 까요? 바로 $\frac{1}{36} \cdot N \cdot 1000-\frac{35}{36} \cdot N \cdot 100$입니다. 

따라서 만약 N번의 게임을 한다면 평균적으로 $\frac{\frac{1}{36} \cdot N \cdot 1000-\frac{35}{36} \cdot N \cdot 100}{N}=\frac{1}{36} \cdot 1000 - \frac{35}{36} \cdot 100=-69.44$입니다. 따라서 한 게임마다 -69.44원을 얻는 것이므로 69.44원의 손해를 얻을 것으로 기대됩니다.

그러므로 이 게임은 하지않는 것이 이득입니다!! 이런식으로 기댓값을 통해 이 게임이 누구에게 유리한지 알아볼 수 있습니다!!

 

- 기댓값

$X$가 이산 확률 변수이고 각각의 사건에 대한 확률이 배정되어 있다고 가정하겠습니다. 이때, $X$의 기댓값은 $E(X)$로 표기하며 $E(X)=\sum_{j=1}^{n} p(x_{j})x_{j}=p(x_{1})x_{1}+p(x_{2})x_{2}+ \dots + p(x_{n})x_{n}$로 정의됩니다.

 

특징

1. 기댓값은 평균과 동일한 말로 사용가능하며 $\mu$라고도 표기할 수 있습니다.

2. 위의 예시를 통해 미리 보았지만 기댓값은 정확하게 이산 확률 변수의 값이 아닐 수도 있습니다. 정확하게 말하면 이산 확률 변수들에 배정된 확률에 의한 가중 평균이라고 할 수 있습니다.

3. 기댓값은 확률 변수의 전체적인 경향성을 알려주는 요약 통계량이라고 합니다.

4. 만약 균등 분포와 같이 모든 경우의 수에 대해서 확률이 동일하다면 일반적인 의미의 기댓값은 모든 확률 변수의 평균과 같습니다.

 

Ex3. 아래의 표와 같은 확률 분포를 따르는 확률 변수 $X$의 기댓값 $E(X)$를 구하시오.

$X$	1	3	5
pmf	1/6	1/6	1/3

Answer

$E(X)=\frac{1}{6} \cdot 1 + \frac{1}{6} \cdot 3 + \frac{1}{3} \cdot 5=\frac{24}{6}=4$

 

이전 포스팅에서 몇 가지 대표적인 이산 확률 분포에 대해서 알아보았는데 분포의 특성을 이해하는 데 중요한 요소는 직접 기댓값을 구해보는 것입니다.

 

Ex4. $X \sim {\sf Bernoulli}(p)$일 때 기댓값 $E(X)$를 구하시오.

Answer

$X$가 베르누이 분포를 따르므로 1일 때는 $p$, 0일 때는 $1-p$가 됩니다.

$E(X)=p \cdot 1 + (1-p) \cdot 0=p$

이 베르누이 분포의 기댓값은 앞으로도 많이 활용되므로 반드시 알아두어야합니다.

 

1.1. 무게(질량) 중심

지금까지 저희는 확률 질량 함수라는 단어를 사용했습니다. 근데 물리도 아닌 통계에서 갑자기 '질량'이라는 단어는 왜 나올까요? 확률과 통계에서 질량은 어떤것을 의미하는 걸까요? 통계에서 질량이란 '확률'을 의미합니다. 따라서 $p(x_{j})$는 각 $j$에 대한 $x_{j}$의 확률, 즉 질량이라고 할 수 있죠. 이와 같이 해석하면 $E(X)$는 어디에도 치우치지 않은 모든 $x_{j}$의 무게 중심이 됩니다. 그렇기 때문에 질량이라는 단어를 씁니다. 이는 간단하게 상식 정도로 이해하고 넘어가시면 될 것 같습니다.

 

1.2. 기댓값의 대수적 특성

수학적으로 말하면 기댓값은 '선형(linear)' 특성을 가집니다. 선형이란 아래의 2개의 조건을 만족해야합니다.

 

(1). 표본 공간 $\Omega$에서의 $X$와 $Y$를 확률 변수일 때 $E(X+Y)=E(X)+E(Y)$

(2). $a$와 $b$가 상수일 때 $E(aX+b)=aE(X)+b$

 

선형 특성은 앞으로도 많이 나올 예정이지 암기하시길 바랍니다.

 

이러한 기댓값의 대수적 특성에 의해서 두 확률 변수의 연산을 통해 얻은 새로운 확률 변수의 기댓값을 편하게 얻을 수 있다는 장점이 있습니다.

 

Ex5. 이번에는 대수적인 특성을 활용하여 이항 분포의 평균을 구할 수 있습니다. 이전 포스팅에서 설명했다싶이 이항 분포는 $n$개의 베르누이 분포의 합임을 알게 되었습니다. 이러한 특성을 활용해서 평균을 구해보세요.

Answer

$X \sim {\sf Bino}(n, p)$이고 각 $j$에 대해서 $X \sim {\sf Bernoulli}(p)$라고 할 때 $X=X_{1}+X_{2}+\dots+X_{n}$이 됩니다. 이제 Ex4.에서 구한 베르누이 분포의 평균을 적용하면$E(X)=E(X_{1})+E(X_{2})+\dots+E(X_{n})=p+p+\dots+p=np$인 것이죠. 

 

Ex6. 이제 기하 분포의 기댓값을 구해봅시다.

Answer

기하 분포의 경우 몇가지 트릭이 필요합니다. 먼저, $X \sim {\sf geometric}(p)$라고 하면 $p(k)=(1-p)^{k}p$가 됩니다. 따라서 기하 분포의 기댓값은 $E(X)=\sum_{k=0}^{\infty} k(1-p)^{k}p$입니다. 이제 $E(X)$을 정리해야합니다. 여기서 수학적인 트릭이 필요한 데 바로 기하 급수($\sum_{k=0}^{\infty} x^{k}=\frac{1}{1-x}$)입니다.

1). 기하 급수의 양변을 미분합니다. -> $\sum_{k=0}^{\infty} kx^{k-1}=\frac{1}{(1-x)^{2}}$

2). 양변에 $x$를 곱합니다. -> $\sum_{k=0}^{\infty} kx^{k}=\frac{x}{(1-x)^2}$

3). $x$를 $1-p$로 바꿉니다. -> $\sum_{k=0}^{\infty} k(1-p)^{k}=\frac{1-p}{p^{2}}$

4). 양변에 $p$를 곱합니다. -> $\sum_{k=0}^{\infty} k(1-p)^{k}p=\frac{1-p}{p}$ 

따라서 $E(X)=\sum_{k=0}^{\infty} k(1-p)^{k}p = \frac{1-p}{p}$입니다.

 

**1.3. 기댓값 대수적 특성에 대한 증명

이번 절은 1.2절에서 설명 한 대수적 특성을 증명하는 부분입니다. 굳이 알고싶지 않으신 분들은 다음 절로 넘어가셔도 이후에 이해하는데는 큰 지장이 없습니다.

증명하려면 2개의 확률 변수가 필요합니다. 이때, 2개의 확률 변수는 같은 결과로부터 얻어지는 것입니다.

결과 $\omega$	$\omega_{1}$	$\omega_{2}$	$\omega_{3}$	...	$\omega_{n}$
확률 변수 $X$	$X_{1}$	$X_{2}$	$X_{3}$	...	$X_{n}$
확률 변수 $Y$	$Y_{1}$	$Y_{2}$	$Y_{3}$	...	$Y_{n}$
확률 변수 $X+Y$	$X_{1}+Y_{1}$	$X_{2}+Y_{2}$	$X_{3}+Y_{3}$	...	$X_{n}+Y_{n}$
확률 $P(\omega)$	$P(\omega_{1})$	$P(\omega_{2})$	$P(\omega_{3})$	...	$P(\omega_{n})$

(1)번은 간단하게 증명가능합니다.

$E(X+Y)=\sum (x_{i}+y_{i})P(\omega_{i})=\sum x_{i}P(\omega_{i})+\sum y_{i}P(\omega_{i})=E(X)+E(Y)$

(2)번도 사실 간단하죠.

$E(aX+b)=\sum p(x_{i})(ax_{i}+b)=a\sum p(x_{i})x_{i} + b\sum p(x_{i})=aE(X)+b$

 

**증명이라는 단어에 어렵게 느껴지시겠지만 직접 손으로 써보면 그렇게 어렵지않다는 것을 알 수 있습니다.

 

1.4. 확률 변수가 함수인 경우의 기댓값

-변수 변환(change of variable) : $X$가 이산 확률 변수이고 $x_{i}, x_{2}, \dots x_{n}$, 그리고 $h$는 함수, $h(X)$는 새로운 확률 변수라고 가정하면 $E(h(X))=\sum_{j} h(x_{j})p(x_{j})$입니다.

 

Ex8. $X$를 1개의 6면체 주사위를 굴렸을 때 나타나는 눈이고 $Y=X^{2}$일때, $E(Y)$를 구하시오.

Answer

먼저, $X$의 범위가 작기 때문에 이번에도 표를 작성해서 해결해보도록 하겠습니다.

$X$	1	2	3	4	5	6
$Y=X^{2}$	1	4	9	16	25	36
확률	$\frac{1}{6}$	$\frac{1}{6}$	$\frac{1}{6}$	$\frac{1}{6}$	$\frac{1}{6}$	$\frac{1}{6}$

$E(Y)=E(X^{2})=1^{2} \cdot \frac{1}{6} + 2^{2} \cdot \frac{1}{6} + \dots + 6^{2} \cdot \frac{1}{6}=15.167$입니다.

$E(X)=1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} + \dots + 6 \cdot \frac{1}{6}=\frac{21}{6}=3.5$로 $E(Y)$와 값이 완전히 다른것을 볼 수 있습니다.