인공지능/Probabilistic Machine Learning (intro)
[PML intro] Ch6 Information Theory (Sec.6.3 Mutual Information - 6)
지난 포스팅의 [PML intro] Ch6 Information Theory (Sec.6.3 Mutual Information - 5)에서는 상호정보량과 관련된 중요한 quantity 중 하나인 최대정보계수 (Maximal Information Coefficient; MIC)에 대해서 알아보았습니다. 오늘은 상호정보량과 관련된 중요한 정리인 데이터 처리 부등식 (Data Processing Inequality)에 대해서 설명해보도록 하겠습니다. 어떤 미지의 변수 $X$가 있고 저희는 그에 대한 잡음 섞인 관측값 $Y$를 본다고 가정하겠습니다. 이제 이 잡음이 섞인 관측값 $Y$를 어떤 방식으로든 가공(processing)헤서 새로운 변수 $Z$를 만들면 직관적으로 $X$에 대해 알고 있는 정보가 더 늘..
