本記事はPRML「パターン認識と機械学習<上>第7版」(C.M.ビショップ著)の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので,画像ファイルでアップしています。
また,数学的に厳密な議論はしていません。その代わり,初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。PRML解答/解説の目次もご覧ください。
スポンサーリンク
9.24
本来は,対数尤度関数をイェンゼンの不等式を利用して評価して下限を定義後,その差分がKLダイバージェンスであることを示します。今回は,下限とKLダイバージェンスの定義が与えられていますので,シンプルに代入することで等式を示してしまいましょう。