【レビュー/内容まとめ】ベイズ推論による機械学習入門＜第３章＞

本記事は，新たなベイズ学習の入門書として最近注目を集めている「ベイズ推論による機械学習入門」のレビューと内容まとめになります。各章・各節ごとに内容をまとめていきます。

ベイズ推論とは

まず，ベイズ推論とは何かについて解説しています。ベイズの定理を利用して，不確かさを保持した状態で確率分布をうまく利用しながら話を進めていくのがベイズ推論です。詳しくは，以下の記事でまとめています。

【初学者向き】ベイズ推論とは？事前分布や事後分布をド素人向けに分かりやすく解説してみます！本記事は，初学者に向けてベイズ推定の基本概念をお伝えするという内容になっています。一見とっつきにくい数式が出てきますが，利用しているのは...

 

学習と予測

ベイズ推論では，何を「推論」するのでしょうか。それは，事後分布（のパラメータ）を推論するのです。そして，得られた結果を利用して予測分布を計算します。基本的な流れは以下の通りです。

詳しくは，以下の記事にまとめています。こちらの記事では「１次元ガウス分布」の「平均・分散が未知の場合」しかお伝えしていませんが，本書では様々な確率分布に対して解析的な計算を行っています。

【初学者向き】ベイズ推論の学習と予測とは？１次元ガウス分布を例にド素人に向けて全力で解説してみます！本記事は，初学者に向けて「ベイズ推定の基本概念である学習と予測に関して，１次元ガウス分布を利用して解析的な解を求めてみる」という内容にな...

 

モデル選択

本章の最後は，モデルの比較に関するお話です。作成したモデルがどの程度「合っているか」を定量的に評価するためには，モデルエビデンス$p(\mathcal{D})$を比較する必要があることが書かれています。よくある訓練データに対する性能と予測データに対する性能のトレードオフの話にも言及しています。

 

レビュー

この章を読んで，本書はかゆい所に手が届く参考書だということを思い知らされました。行間が非常につまっているので，数式を一行ずつ理解することができます。また，突拍子もない式変形や天下り的な考え方には必ず言及されていますので，納得感を持った中で勉強を進めていくことができます。