アカデミック

【第2章確率分布】PRML演習問題解答を全力で分かりやすく解説<2.38>

本記事はPRML「パターン認識と機械学習<上>第7版」(C.M.ビショップ著)の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので,画像ファイルでアップしています。

また,数学的に厳密な議論はしていません。その代わり,初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。目次はコチラの記事をご覧ください。

もし間違い等がございましたら,ご指摘いただけますと助かります。

2.38

$N$個の観測値から推定されたパラメータを計算で確認する問題です。平均は,ハイパーパラメータ$\mu_0$を最尤推定量$\mu_{ML}$で補正している式が導出されます。同じように,分散はハイパーパラメータ$\sigma_0$を既知の値$\sigma$で補正している式が導出されます。

以下コメント欄にてご指摘いただいた部分を反映したものになります。maki様ありがとうございます!

訂正後の解答

式(2.137),式(2.138),式(2.139)より,事後分布の指数部分に対する恒等式は以下のようになる.

\begin{align}
-\frac{1}{2\sigma^2} \sum_{n=1}^{N}\left(x_n – \mu\right)^2 – \frac{1}{2\sigma_0^2}\left(\mu – \mu_0^2\right) 
&= – \frac{1}{2\sigma_N^2}(\mu – \mu_N^2) 
\end{align}

$\mu$の次数に関して係数比較を行えば,

\begin{align}
-\left(\frac{N}{2\sigma^2} + \frac{1}{2\sigma_0^2}\right) \mu^2
&= -\frac{1}{2\sigma_N^2} \mu^2 \\
\left(\frac{\sum_{n=1}^N x_n}{\sigma^2} + \frac{\mu_0^2}{\sigma_0^2}\right)\mu &= \frac{\mu_N}{\sigma_N^2}\mu
\end{align}

が得られる.$\mu^2$に関する条件式から式(2.142)が得られる.

以下では,$\mu$の係数を比較していくが,式(2.141)に注目すると$\mu_{ML}$という項が入っている.これは,$\sum_{n=1}^Nx_n = N\mu_{ML}$という平均の定義式を用いて導入されるものである.以上に注意すれば,$\mu$の係数比較を通して以下が導かれる.

\begin{align}
\mu_{N} &=\sigma_{N}^{2} \left(\frac{\sum_{n=1}^{N} x_{n}}{\sigma^{2}}+\frac{\mu_{0}}{\sigma_{0}^{2}}\right) \\
&=\left(\frac{1}{\sigma_{0}^{2}}+\frac{N}{\sigma^{2}}\right)^{-1} \cdot\left(\frac{N \mu_{M L}}{\sigma^{2}}+\frac{\mu_{0}}{\sigma_{0}^{2}}\right) \\
&=\frac{\sigma_{0}^{2} \sigma^{2}}{N \sigma_{0}^{2} + \sigma^{2}} \cdot \frac{N \mu_{M L} \sigma_{0}^{2}+\mu_{0} \sigma^{2}}{\sigma^2 \sigma_{0}^{2}} \\
&=\frac{\sigma^{2}}{N \sigma_{0}^{2}+\sigma^{2}} \mu_{0}+\frac{N \sigma_{0}^{2}}{N \sigma_{0}^{2}+\sigma^{2}} \mu_{M L}
\end{align}

訂正前の解答

ABOUT ME
zuka
京都大学で機械学習を学んでいます。

POSTED COMMENT

  1. maki より:

    誤植(?)を見つけましたので報告します。
    1行目の事後分布の指数部分ですが
    以下のようになるのではないでしょうか?(latex形式ですみません。まちがっていたらすみません。)
    \begin{align}
    -\frac{1}{2\sigma^2}\sum_{n=1}^N(x_n-\mu)^2-\frac{1}{2\sigma_0^2}(\mu-\mu_0)^2
    \end{align}

    • zuka より:

      maki様

      ご連絡ありがとうございます。
      ご返信が遅くなってしまい,大変失礼いたしました。

      (こちらで勝手にlatex形式をコンパイルしてしまいました。)
      $p(\mu)$に関するシグマが不必要ということでしょうか。

    • maki より:

      zuka様

      お返事ありがとうございます。

      >>p(μ)に関するシグマが不必要ということでしょうか。
      はい、そのように思います。

    • zuka より:

      maki様

      ご指摘ありがとうございます!!
      $\mu$はスカラーでしたね.それに伴ってガウス分布も1次元になります.ご指摘の通りでした.
      本文を修正いたしました.お時間のある際にご確認いただけますと幸いです.助かりました><

  2. maki より:

    zuka様

    >>お時間のある際にご確認いただけますと幸いです.
    確認いたしました。
    ご対応ありがとうございました。

COMMENT

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

※ Please enter your comments in Japanese to prevent spam.