本記事はPRML「パターン認識と機械学習＜上＞第７版」（C.M.ビショップ著）の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので，画像ファイルでアップしています。
また，数学的に厳密な議論はしていません。その代わり，初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。PRML解答/解説の目次もご覧ください。
スポンサーリンク
9.4
PRML内では，EMアルゴリズムは潜在変数を含むモデルの尤度関数を最大にするパラメータを求める手法として位置付けられています。尤度関数と事後確率はベイズの定理によって紐づけられていますから，事後確率を最大にするEMアルゴリズムを導出することも簡単にできます。
また，解答中に「期待値でごまかすという発想」と書きましたが，実際には期待値を取るという操作は，対数尤度関数にイェンゼンの不等式を適用して変分下限をQ関数で置いたときに，そのQ関数が期待値の形になっていることによって裏付けされます。
