アカデミック

【レビュー/内容まとめ】ベイズ推論による機械学習入門<第3章>

本記事は,新たなベイズ学習の入門書として最近注目を集めている「ベイズ推論による機械学習入門」のレビューと内容まとめになります。各章・各節ごとに内容をまとめていきます。

ベイズ推論とは

まず,ベイズ推論とは何かについて解説しています。ベイズの定理を利用して,不確かさを保持した状態で確率分布をうまく利用しながら話を進めていくのがベイズ推論です。詳しくは,以下の記事でまとめています。

【初学者向き】ベイズ推論とは?事前分布や事後分布をド素人向けに分かりやすく解説してみます!本記事は,初学者に向けてベイズ推定の基本概念をお伝えするという内容になっています。一見とっつきにくい数式が出てきますが,利用しているのは...
対極的なのが最尤推定などの点推定です。

 

学習と予測

ベイズ推論では,何を「推論」するのでしょうか。それは,事後分布(のパラメータ)を推論するのです。そして,得られた結果を利用して予測分布を計算します。基本的な流れは以下の通りです。

1.パラメータの事前分布を仮定
2.観測データの尤度関数を仮定
3.ベイズの定理を利用して事後確率を計算
4.予測分布を利用して未知の確率分布を求める

詳しくは,以下の記事にまとめています。こちらの記事では「1次元ガウス分布」の「平均・分散が未知の場合」しかお伝えしていませんが,本書では様々な確率分布に対して解析的な計算を行っています。

【初学者向き】ベイズ推論の学習と予測とは?1次元ガウス分布を例にド素人に向けて全力で解説してみます!本記事は,初学者に向けて「ベイズ推定の基本概念である学習と予測に関して,1次元ガウス分布を利用して解析的な解を求めてみる」という内容にな...

 

モデル選択

本章の最後は,モデルの比較に関するお話です。作成したモデルがどの程度「合っているか」を定量的に評価するためには,モデルエビデンス$p(\mathcal{D})$を比較する必要があることが書かれています。よくある訓練データに対する性能と予測データに対する性能のトレードオフの話にも言及しています。

 

レビュー

この章を読んで,本書はかゆい所に手が届く参考書だということを思い知らされました。行間が非常につまっているので,数式を一行ずつ理解することができます。また,突拍子もない式変形や天下り的な考え方には必ず言及されていますので,納得感を持った中で勉強を進めていくことができます。

COMMENT

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です