統計的予測

　実測データで条件づけたパラメータの不確実性を減少させる推定に対し，実測データで条件づけた未観測のデータについての不確実性を更新するのが予測です．実際の現場だとこっちを使いたい事も多いですよね．

　機械学習なんかはこれをいかにセクシーでエレガントにやるかを競っているわけです．神経科学的には，BMIの実装だったり，脳の知覚モデルなんかを理解していく上で必要になります．しかし絶対というわけでもないのでさらっと，とりあえずベイズの予測だけいれておきます．

ベイズ予測

まずは分かりやすいベイズ予測．これまでに観測されたデータを用いたベイズ推定で求めた事後分布を使って，

ベイズ予測の手順

$$ \begin{align} p(\theta|\mathbf{D}) = \frac{p(\mathbf{D}|\theta) p(\theta)}{p(\mathbf{D})} \qquad \text{事後分布の推定} \nonumber \\ p(D^{new}|\mathbf{D}) = \int p(D^{new}|\theta)p(\theta|\mathbf{D})d\theta \qquad \text{予測} \end{align} $$

のような事をして，未観測のデータを予測します．$p(D^{new}|\mathbf{D})$ はデータ集合 $\mathbf{D}$ を観測した状態で，次に観測されると思われるデータの予測値の分布で，これを事後予測分布と言います．

　式を解釈すると，パラメータ $\theta$ が取りうる値の全ての範囲で，パラメータ $\theta$ がある値を取る確率 $p(\theta)$ で重みづけした $p(D^{new}_1|\theta)$ の足し合わせを $D^{new}_1$ の確率，$p(D^{new}_2|\theta)$ の足し合わせを $D^{new}_2$ の確率，というように計算することで $D^{new}$ が取りうる値の予測分布を求めるものです．　ここで，尤度 $p(D^{new}|\theta)$ は未観測データの尤度になりますが，事前に観測されているデータと同じ生成過程で生成されているとすれば事後分布の計算の際に用いた尤度 $p(\mathbf{D}|\theta)$ と同じものを使うことが出来ます．

　こうして得られた事後予測分布から，期待値を取ったりして点推定しても良いし，そのまま分布として扱ってもいいです．