本記事はPRML「パターン認識と機械学習<上>第7版」(C.M.ビショップ著)の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので,画像ファイルでアップしています。
また,数学的に厳密な議論はしていません。その代わり,初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。PRML解答/解説の目次もご覧ください。
スポンサーリンク
9.25
本末転倒な問題ですが,(偏微分計算が面倒臭かったため)このような形で済ませてしまいました。しかし,本質を突いた考え方はこの解答のような発想だと思います。
$p$と$q$が$z$に関して等式が成立しているということは,$p$と$q$のKLダイバージェンスが$0$であるということです。KLダイバージェンスが$0$であれば,対数尤度関数と下限は一致します。勾配が一致するのも自明です。