続パタ4.5節の式を厳密に計算してみる
「厳密に計算してみる」=「数学弱者なので細かく式変形しないとわからん」の意です。式4.41の正規化定数 を見て「は?」と思ったので全部自分で計算することにしました。
問題
表の出る確率が のコインを
回投げたら表が
回出た。今回得た事象を
と表す時、
を求めよ。
解く
ベイズの規則より です。
右辺は \[ \begin{align}
P(\mathbf{x}^{(n)}|\theta) &= \theta^{r} (1-\theta)^{n-r}, \\
P(\mathbf{x}^{(n)}) &= \int_0^1 P(\mathbf{x}^{(n)}|\theta) p(\theta)\ d\theta \\
&= \int_0^1 \theta^{r} (1-\theta)^{n-r} p(\theta)\ d\theta
\end{align}
\] であることは今までと同じです。問題は事前分布 の選び方で、続パタ4.5節ではこれをベータ分布
で仮定しています。ということで \[ \begin{align}
P(\mathbf{x}^{(n)}) &= \int_0^1 \theta^{r} (1-\theta)^{n-r} \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{\mathrm{B}(\alpha, \beta)} \ d\theta \\
&= \frac{1}{\mathrm{B}(\alpha, \beta)} \int_0^1 \theta^{\alpha+r-1} (1-\theta)^{\beta+n-r-1}\ d\theta\ \\
&= \frac{\mathrm{B}(\alpha+r,\ \beta+n-r)}{\mathrm{B}(\alpha, \beta)}
\end{align}
\] なので、\[ \begin{align}
p(\theta|\mathbf{x}^{(n)}) &= \theta^{r} (1-\theta)^{n-r} \frac{\mathrm{B}(\alpha, \beta)}{\mathrm{B}(\alpha+r,\ \beta+n-r)} \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{\mathrm{B}(\alpha, \beta)} \\
&= \frac{\theta^{\alpha+r-1} (1-\theta)^{\beta+n-r-1}}{\mathrm{B}(\alpha+r,\ \beta+n-r)} \\
&= \mathrm{Be}(\alpha+r,\ \beta+n-r)
\end{align}
\] ということで事後分布が簡単に導けました。