안녕하세요. 오늘은 지난 시간의 기초통계학[15].통계 소개(https://everyday-image-processing.tistory.com/28)에 이어서 본격적으로 통계를 배워보도록 하겠습니다. 그 첫걸음으로 최대 우도 추정법(Maximum Likelihood Estimates; MLE)에 대해서 알아보겠습니다. 본격적으로 시작하기 전에 최대 우도 추정이란 것이 필요한 이유에 대해서 알아보도록 하겠습니다. 기본적으로 통계는 데이터를 다루는 학문이라고 했기 때문에 저희에게 $n$개의 데이터 $x_{1}, x_{2}, ..., x_{n}$가 있다고 가정하겠습니다. 그리고 이 데이터들이 지수분포(exponential distribution)을 따르는 실험을 한 것을 알고 있다고 가정하겠습니다. 와~ 그럼..
안녕하세요. 오늘은 드디어 지난 시간의 마지막 확률 포스팅이였던 기초통계학[14].공분산과 상관계수(https://everyday-image-processing.tistory.com/25)를 끝내고 본격적으로 통계를 시작하기 전에 간단한 소개를 하고 넘어가도록 하겠습니다. 통계학은 기본적으로 데이터를 주로 다룹니다. 좀 더 자세하게 이야기하면 얻은 데이터를 바탕으로 의미있는 '추론'을 하는 것이 목표입니다. 이 과정은 크게 3가지로 나눌 수 있습니다.(1). 데이터 수집, 2). 데이터 설명, 3). 데이터 분석) 즉, 어떤 것이 진짜 인지에 대한 '가설(hypothesis)'를 세우고 실험을 통한 데이터 수집, 수집된 데이터 설명, 마지막으로 데이터를 분석한 뒤 이전에 세운 가설에 대한 믿음의 정도를 ..
안녕하세요. 오늘은 지난 시간의 기초통계학[13].결합확률분포와 독립성(https://everyday-image-processing.tistory.com/23)에 이어서 공분산과 상관계수에 대해서 알아보겠습니다. 1. 공분산(Covariance) 공분산은 이전 시간의 결합확률분포에서 두 확률변수간의 관련성을 수치한 것입니다. 지난 시간에 예를 들었던 기린의 키와 무게 사이의 양의 공분산이 나온다면 서로 함께 증가하는 경향을 보인다는 것입니다. 중요한 점은 두 확률 변수간의 인과관계가 아니라 경향성만 알 수 있다는 점입니다. 두 확률변수 $X$와 $Y$가 각각 평균 $\mu_{X}$, $\mu_{Y}$를 가진다고 했을 때 $X$와 $Y$의 공분산은 $Cov(X, Y)=E((E-\mu_{X})(Y-\mu_{..
안녕하세요. 오늘은 지난 기초통계학[12].밀도 히스토그램, Chebyshev 부등식(https://everyday-image-processing.tistory.com/19)에 이어서 결합확률분포와 독립성에 대해서 알아보겠습니다. 1. 결합확률분포(Joint Distributions) 실제에서 저희는 단일 대상에 대해서 여러가지 변수를 동시에 얻는 것에 관심있는 경우가 더 많습니다. 간단하게 생각해볼까요? 저희는 기린이라는 대상을 연구하고 있다고 가정하겠습니다. 기린이라는 대상의 특성이 목의 길이만 중요한 것은 아닙니다. 다리 길이, 꼬리의 길이, 머리 크기, 눈의 크기, 얼룩의 분포와 같이 사소한 특징부터 중요한 특징까지 알고 싶습니다. 그렇다면 이러한 특성들끼리 어떤 특징을 가지고 있지는 않을 까요?..
안녕하세요. 오늘은 지난 시간의 기초통계학[11].중심극한정리와 큰 수의 법칙(https://everyday-image-processing.tistory.com/18)에 이어서 밀도 히스토그램과 Chebyshev 부등식에 대해서 알아보겠습니다. 참고로 이번 포스팅은 다음 내용을 이해하는 데에 있어 큰 상관이 있지는 않습니다. 다만, 확률과 수학이 얼마나 밀접한 관련이 있는 지를 설명하는 포스팅이므로 생략하셔도 문제 없습니다. 1. 밀도 히스토그램 이전 시간의 큰 수의 법칙을 통해 알게 된 사실은 샘플의 수가 증가함에 따라서 해당 샘플들의 밀도 히스토그램이 점차 기존의 pdf나 pmf에 수렴한다는 것입니다. 하지만 증명은 하지않았습니다. 이번 절에서는 실제로 pdf, pmf에 수렴하는 지 증명하는 단계입니..
안녕하세요. 오늘은 지난 시간의 기초통계학[10].연속확률변수의 기댓값, 분산, 표준편차 그리고 분위수(https://everyday-image-processing.tistory.com/16)에 이어서 중심극한정리(Central Limit Theorem;CLT)와 큰 수의 법칙(Law of Large Numbers;LoLN)에 대해서 알아보겠습니다. 드디어 확률 부분의 끝이 보이기 시작합니다. 확률의 경우 앞으로 3개만 더 포스팅하면 끝날 예정이고 그 이후에는 통계를 포스팅하겠습니다. 조금 더 힘을 내도록 합시다! 1. 큰 수의 법칙(Law of Large Number;LoLN) 큰 수의 법칙을 시작하기 전에 중요한 개념부터 정의하겠습니다. $X_{1}, X_{2}, \dots, X_{n}$들이 동일한 ..
안녕하세요. 오늘은 지난 시간의 기초통계학[9].연속확률변수의 조작(https://everyday-image-processing.tistory.com/15)에 이어서 연속확률변수의 기댓값, 분산, 표준편차, 그리고 분위수에 대해서 알아보겠습니다. 지금까지 저희는 이산확률변수의 기댓값, 분산, 표준편차에 대해서만 공부했습니다. 공식을 기억하실지는 모르겠지만 연속확률변수와 이산확률변수의 차이점이 $\sum$이 $\int$로 바뀌는 것밖에 없으니 이산확률변수를 이해했다면 빠르게 알 수 있습니다. 추가적으로 요약 통계량 중 하나인 분위수(quantiles)에 대해서 공부하고 마치도록 하겠습니다. 1. 연속확률변수의 기댓값 연속확률변수의 기댓값은 $\int_{a}^{b} xf(x) \; dx$로 정의됩니다. 이산..
안녕하세요. 오늘은 지난 시간의 기초통계학[8].연속확률변수의 분포(https://everyday-image-processing.tistory.com/15)에 이어서 연속확률변수를 조작하는 법에 대해서 알아보겠습니다. 1. 연속확률변수의 조작 이산확률변수의 기댓값과 분산의 성질에서 $Y=aX+b$일 때 $E(Y)=aE(X)+b$와 $Var(Y)=a^{2}Var(X)$임을 알았습니다. 그렇다면 연속확률변수에서 $Y$의 확률 밀도함수는 어떤 것일까요? 이산확률변수에서는 확률변수를 조작하는 경우 확률 분포 표를 그려 해결하였지만 연속확률변수에서는 표를 그릴수가 없습니다. 따라서 미적분학을 통해서 해결해야합니다. 지난 시간의 cdf의 특성을 기억해봅시다. 1. $F_{X}(x)=P(X \le x)$ 2. $f_..
