本記事はPRML「パターン認識と機械学習＜下＞第７版」（C.M.ビショップ著）の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので，画像ファイルでアップしています。
また，数学的に厳密な議論はしていません。その代わり，初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。PRML解答/解説の目次もご覧ください。
スポンサーリンク
10.5
良問です！変分ベイズの点推定がEMアルゴリズムに相当することを確認する問題です。キーポイントは，潜在変数$Z$にモデルパラメータ$\theta$を含めないか，含めるかという点です。変分推論では含めますが，EMアルゴリズムでは含めません。
そのため，潜在変数に含めている変分推論は「EEアルゴリズム」とも捉えられます。モデルパラメータ$\theta$の分布$q$に関してデルタ分布を仮定すると，変分推論を最尤法に紐づけることができます。逆に言えば，最尤推定は変分推論の特別な場合に相当します。詳しくは，こちらの記事（【これなら分かる！】変分ベイズ詳解＆Python実装。最尤推定/MAP推定との比較まで。）をご覧ください。
