本記事はPRML「パターン認識と機械学習＜上＞第７版」（C.M.ビショップ著）の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので，画像ファイルでアップしています。
また，数学的に厳密な議論はしていません。その代わり，初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。PRML解答/解説の目次もご覧ください。
スポンサーリンク
9.18
解答中の前半部分はついついアツめに書いてしまいましたが，演習問題9.4ですでに示してありましたね。それにしても，良問だと思います。Eステップでは潜在変数の事後確率（に関する潜在変数の期待値）を求めます。それは，潜在変数の期待値である（負担率）を計算することに他なりません。だからこそ”E(expectation)”ステップと呼ばれているのです。
Eステップの存在意義は，Q関数が潜在変数に関する対数尤度の期待値であるため，Q関数の最大化を考える”M(maximization)”ステップの計算に用いることができるからです。
定性的な解釈としては，関数$p$とのKLダイバージェンスが0となるように潜在変数の事前分布$q$を定めるのがEステップです。Mステップでは，下限自体を最大化することで，事後確率も増加します。
