【第５章ニューラルネットワーク】PRML演習問題解答を全力で分かりやすく解説＜5.2＞

本記事はPRML「パターン認識と機械学習＜上＞第７版」（C.M.ビショップ著）の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので，画像ファイルでアップしています。

また，数学的に厳密な議論はしていません。その代わり，初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。PRML解答/解説の目次もご覧ください。

5.2

単純なニューラルネットワークの訓練方法は，出力と目標の誤差を最小化するようにパラメータを更新するというものです。本文では，より一般化するために目標変数の条件付き確率にガウス分布を仮定しています。本問では，条件付き確率が独立でノイズ精度が共通であると仮定したときに，「尤度の最大化⇔二乗和誤差の最小化」を示すことです。正規分布の尤度関数最大化による識別モデルの際も，共分散行列が共通の場合は二乗和誤差最小基準と等価でしたね。