ベイズ推定における共役事前分布の重要性について

ベイズ推定における事後確率計算量

$$P(x^* \mid \boldsymbol{x}) = \displaystyle \int P(x^* \mid \boldsymbol{\lambda})  P(\boldsymbol{\lambda} \mid \boldsymbol{x}) d \boldsymbol{\lambda}$$

ベイズ推定の際は、予測をする場合に事後確率によって重み付けをとるため、全てのパラメーターに対する事後確率を覚えておくか、解析的に計算できるようにしておく必要がある。


現実的には、全てのパラメータの事後確率を覚えておくことは不可能なので、解析的に計算しておくか、近似的に計算することになる。

そこで、共役事前分布の登場である。

共役事前分布を用いれば, 事後分布が閉じた形で計算できるため、計算が簡単になる。具体的には、事後分布を求める際に、尤度と事前分布の積が、ある確率分布*定数$\kappa$だとわかる場合、evidence(分母) と定数$\kappa$が同じにならねばならない。なぜなら、左辺の事後確率分布はあらゆる点において０以上１以下で全区間積分すると1になる正しい確率分布であるので、右辺も同様に正しい確率分布荷なる必要がある。ある確率分布（パラメータ未定）が出現しているため、その前の定数はevidence（分母）とキャンセルされる必要があるのである。

$$\begin{eqnarray} P(\boldsymbol{\lambda} \mid \boldsymbol{x}) &=& \frac{ \prod_{ i = 1 }^N P(x_i \mid \boldsymbol{\lambda})P(\boldsymbol{\lambda})}{ P(\boldsymbol{x})} \\ &=& \frac{ \prod_{ i = 1 }^N Cat_{x_i}( \boldsymbol{\lambda})Dir_{\boldsymbol{\lambda}}(\boldsymbol{\alpha})}{ P(\boldsymbol{x})} \\ &=& \frac{ \kappa (\boldsymbol{x}, \boldsymbol{\alpha}) Dir_{\boldsymbol{\lambda}}(\boldsymbol{\tilde{\alpha}})}{ P(\boldsymbol{x})} \end{eqnarray}$$

上の例では、多項分布($Cat(x)$についてはココ（基本的な確率分布のまとめ）を参照。)とその共役事前分布であるディリクレ分布の掛け合わせによる事後分布の導出を示している。このとき$\kappa$と$P(\boldsymbol{x})$はキャンセルする必要があり、結果的にディリクレ分布のパラメータ$\boldsymbol{\tilde{\alpha}}$が決まれば事後分布がわかるわけである。

その他、パラメーターを介した周辺化の積分計算(予測*事後確率)を行う際に、確率分布が出現し、積分の中の計算が1になる。よって、定数部分の演算だけで観測点からの予測が可能となる点で、共役事前分布は強力である。

$$\begin{eqnarray} P(x^* \mid \boldsymbol{x}) &=& \displaystyle \int P(x^* \mid \boldsymbol{\lambda})  P(\boldsymbol{\lambda} \mid \boldsymbol{x}) d \boldsymbol{\lambda}\\ &=& \int Cat_{x^*}( \boldsymbol{\lambda})Dir_{\boldsymbol{\lambda}}(\boldsymbol{\tilde{\alpha}}) d \boldsymbol{\lambda}\\ &=& \int \kappa (x^*,  \boldsymbol{\tilde{\alpha}}) Dir_{\boldsymbol{\lambda}}(\boldsymbol{\breve{\alpha}}) d \boldsymbol{\lambda}\\ &=& \kappa (x^*,  \boldsymbol{\tilde{\alpha}}) \end{eqnarray}$$

上の例では、各パラメータ$\boldsymbol{\lambda}$の下の$x^*$の確率分布が多項分布、事後確率分布がディリクレ分布の場合の予測時の導出を示している。定数部分$\kappa$だけ積分の前にもっていくことができ、ディリクレ分布は積分すると1になるので、結果、定数部分$\kappa$が残るわけである。

以上、ベイズ推定における共役事前分布の重要性について述べた。
（代表的な共役事前分布の例はこちら）

しかし、MCMCと呼ばれるサンプリング技法が成熟した経緯もあり、共役でない自由な事前分布を用いたとしても近似的に事後分布を求めることで、ベイズ推定可能となっている。詳しくは後日投稿する。