【第１章序論】PRML演習問題解答を全力で分かりやすく解説！＜1.41＞

本記事はPRML「パターン認識と機械学習＜上＞第７版」（C.M.ビショップ著）の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので，画像ファイルでアップしています。

また，数学的に厳密な議論はしていません。その代わり，初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。目次はコチラの記事をご覧ください。

1.41

基本的な計算問題です。相互情報量というのは，$y$単体で受け取る情報量から，$x$が運んでくる$y$に関する情報量を引くことで得られます（逆もしかりです）。つまり，$x$を受け取ることによって$y$に関する不確実性がどの程度減少するかを表しています。$x$と$y$が独立であれば，$0$になることはイメージがつきやすいですね。