代表的な共役事前分布について

本稿では、代表的な共役事前分布の一覧を示す。

まずはじめに事後分布、尤度、事前分布の関係は以下の通りである。

事後分布 $\propto$ 尤度 $\times$ 事前分布

共役事前分布とは、事後分布の関数形と事前分布の関数形が同じになるような、尤度に対する事前分布のことである。

＜参照＞ベイズ推定における共役事前分布の重要性について

以下に、代表的な共役事前分布を示す。

ベータ分布

尤度関数が二項分布、ベルヌーイ分布の場合、ベータ分布が共役事前分布となる。

尤度関数：ベルヌーイ分布、二項分布

ベルヌーイ分布

$P(x\mid \lambda) = \lambda^x(1-\lambda)^{(1-x)}$ for $ x \in \{0,1\} $
Takes a single parameter $\lambda \in [0,1] $

二項分布

$P(x\mid \lambda, n) = {}_n \mathrm{ C }_x \lambda^x(1-\lambda)^{(n-x)}$
${}_n \mathrm{ C }_x = \frac{ n! }{ x! ( n - x )! }$
Takes parameters $\lambda \in [0,1]$ and $n \geq 0, n \in \mathbb{ Z }$

共役事前分布：ベータ分布

$$Beta(\lambda|a,b) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\lambda^{a-1}(1-\lambda)^{b-1} $$

ディリクレ分布

尤度関数がカテゴリカル分布あるいは多項分布の場合、ディリクレ分布が共役事前分布となる。

尤度関数：カテゴリカル分布、多項分布

カテゴリカル分布

$P(x\mid \boldsymbol{\lambda}) = \displaystyle \prod_{ i = 0 }^K \lambda_i^{x_i} $
Takes $K$parameters $\lambda_i \in [0,1] $ where $\displaystyle \sum_{ i = 1 }^{ K } \lambda_i = 1$

多項分布

$$
P(x\mid \boldsymbol{\lambda}, n) =
\begin{cases}
\frac{ n! }{ x_1! x_2! \cdots x_k! } \displaystyle \prod_{ i = 1 }^K \lambda_i^{x_i} & (when \sum_{ i = 1 }^{ K } x_i = n ) \\
0 & ( otherwise )
\end{cases}
$$
Takes $K+1$ parameters $n$ where  $n \gt 0$, and $\lambda_1,...,\lambda_K$ where $\lambda_i \in [0,1] $ and $\displaystyle \sum_{ i = 1 }^{ K } \lambda_i = 1$

共役事前分布：ディリクレ分布

$$Dir(\boldsymbol{\lambda}|\boldsymbol{a})=\frac{\Gamma(\sum_{ i = 1 }^{ K } a_i)}{\prod_{ i = 1 }^{ K }\Gamma(a_i)}\prod_{ i = 1 }^{ K } \lambda_i^{a_i-1}$$
Takes $K$parameters $a_1,...,a_K$ where $a_i gt 0$
Takes $K$supports $\lambda_1,...,\lambda_K$ where $\lambda_i \in [0,1] $ and $\displaystyle \sum_{ i = 1 }^{ K } \lambda_i = 1$

その他

その他、有名な尤度関数と共役事前分布の関係としては以下のようなものがある。

【事後分布】正規分布, 【尤度関数】正規分布 ,【共役事前分布】正規分布

【事後分布】ガンマ分布, 【尤度関数】ポアソン分布 ,【共役事前分布】ガンマ分布

【事後分布】ガンマ分布, 【尤度関数】正規分布 ,【共役事前分布】ガンマ分布