【第２章確率分布】PRML演習問題解答を全力で分かりやすく解説＜2.38＞

本記事はPRML「パターン認識と機械学習＜上＞第７版」（C.M.ビショップ著）の演習問題の基本問題・標準問題を解説したページになります。数式を打ち込む手間が面倒だったので，画像ファイルでアップしています。

また，数学的に厳密な議論はしていません。その代わり，初学者がつまづきやすいポイントを重点的にお伝えしていくつもりです。目次はコチラの記事をご覧ください。

2.38

$N$個の観測値から推定されたパラメータを計算で確認する問題です。平均は，ハイパーパラメータ$\mu_0$を最尤推定量$\mu_{ML}$で補正している式が導出されます。同じように，分散はハイパーパラメータ$\sigma_0$を既知の値$\sigma$で補正している式が導出されます。

訂正後の解答

式(2.137)，式(2.138)，式(2.139)より，事後分布の指数部分に対する恒等式は以下のようになる．

\begin{align}
-\frac{1}{2\sigma^2} \sum_{n=1}^{N}\left(x_n – \mu\right)^2 – \frac{1}{2\sigma_0^2}\left(\mu – \mu_0^2\right) 
&= – \frac{1}{2\sigma_N^2}(\mu – \mu_N^2) 
\end{align}

$\mu$の次数に関して係数比較を行えば，

\begin{align}
-\left(\frac{N}{2\sigma^2} + \frac{1}{2\sigma_0^2}\right) \mu^2
&= -\frac{1}{2\sigma_N^2} \mu^2 \\
\left(\frac{\sum_{n=1}^N x_n}{\sigma^2} + \frac{\mu_0^2}{\sigma_0^2}\right)\mu &= \frac{\mu_N}{\sigma_N^2}\mu
\end{align}

が得られる．$\mu^2$に関する条件式から式(2.142)が得られる．

以下では，$\mu$の係数を比較していくが，式(2.141)に注目すると$\mu_{ML}$という項が入っている．これは，$\sum_{n=1}^Nx_n = N\mu_{ML}$という平均の定義式を用いて導入されるものである．以上に注意すれば，$\mu$の係数比較を通して以下が導かれる．

\begin{align}
\mu_{N} &=\sigma_{N}^{2} \left(\frac{\sum_{n=1}^{N} x_{n}}{\sigma^{2}}+\frac{\mu_{0}}{\sigma_{0}^{2}}\right) \\
&=\left(\frac{1}{\sigma_{0}^{2}}+\frac{N}{\sigma^{2}}\right)^{-1} \cdot\left(\frac{N \mu_{M L}}{\sigma^{2}}+\frac{\mu_{0}}{\sigma_{0}^{2}}\right) \\
&=\frac{\sigma_{0}^{2} \sigma^{2}}{N \sigma_{0}^{2} + \sigma^{2}} \cdot \frac{N \mu_{M L} \sigma_{0}^{2}+\mu_{0} \sigma^{2}}{\sigma^2 \sigma_{0}^{2}} \\
&=\frac{\sigma^{2}}{N \sigma_{0}^{2}+\sigma^{2}} \mu_{0}+\frac{N \sigma_{0}^{2}}{N \sigma_{0}^{2}+\sigma^{2}} \mu_{M L}
\end{align}

訂正前の解答