인공지능/Probabilistic Machine Learning (intro)
[PML intro] Ch6 Information Theory (Sec.6.3 Mutual Information - 2)
지난 포스팅의 [PML intro] Ch6 Information Theory (Sec.6.3 Mutual Information - 1)에서는 상호정보량에 대해서 알아보았습니다. 이를 이해하는 방법으로 서로의 독립성을 가정했을 때와 가정하지 않았을 때의 결합분포들의 차이를 계산하는 방식을 설명드렸습니다. 즉, KL 발산의 응용으로 볼 수 있으며 KL 발산이 가지고 있는 가장 중요한 특성인 0보다 크거나 같다는 특성이 상호정보량에도 그대로 적용됩니다. 오늘은 새로운 확률변수가 포함되었을 때의 조건부 상호정보량 (Conditional Mutual Information; CMI)에 대해서 알아보도록 하겠습니다. 조건부 상호정보량은 다음과 같이 정의됩니다. $$\mathbb{I}(X; Y \mid Z) = \m..
