今日やっとこちらのレクチャーを終えました。

おそらく、日本語の学習教材でこれほどわかりやすいベイズ推定の基礎を解説したものはありません。ベイズ推定とグラフィカルモデルに専念しており SVM や NN が出てこない分、PRML や MLaPP よりも体系的に各モデルの共通項や体系化がわかりやすくまとまっています。とくにグラフィカルモデルは信念伝搬やグラフカットなどの動作はステップ毎に見るのが一番直感的でわかりやすいですね。

また最近になって、変分ベイズ (Variational Bayes) に興味があるので、講談社 MLP シリーズの「トピックモデル」を購入してみました。 VB のモチベーションは共役分布ではないモデルのベイズ推定が行えることにあります。最近はニューラルネットワークなどでも応用されています。

イェンツェン不等式による下界の最大化という点で EM アルゴリズムと比較されますが、 EM では最尤(点)推定していたパラメータを VB ではベイズ(分布)推定することで、よりデータ数の少ない場合でも過学習に強い利点があります。その性質の検証として手書き数字 (MNIST) 認識では、わずか 100 サンプルで良好な性能を示しています。theano のソースコードもある。