矮小

井の中の蛙

続パタ4.5節の式を厳密に計算してみる

「厳密に計算してみる」=「数学弱者なので細かく式変形しないとわからん」の意です。式4.41の正規化定数  Z_1 を見て「は?」と思ったので全部自分で計算することにしました。

問題

表の出る確率が  \theta\ (0 \lt \theta \lt 1) のコインを  n 回投げたら表が  r 回出た。今回得た事象を  \mathbf{x}^{(n)} と表す時、 p(\theta|\mathbf{x}^{(n)}) を求めよ。

解く

ベイズの規則より  \displaystyle p(\theta|\mathbf{x}^{(n)}) = \frac{P(\mathbf{x}^{(n)}|\theta)}{P(\mathbf{x}^{(n)})} p(\theta) です。

右辺は \[ \begin{align} P(\mathbf{x}^{(n)}|\theta) &= \theta^{r} (1-\theta)^{n-r}, \\ P(\mathbf{x}^{(n)}) &= \int_0^1 P(\mathbf{x}^{(n)}|\theta) p(\theta)\ d\theta \\ &= \int_0^1 \theta^{r} (1-\theta)^{n-r} p(\theta)\ d\theta \end{align} \] であることは今までと同じです。問題は事前分布  p(\theta) の選び方で、続パタ4.5節ではこれをベータ分布  \displaystyle \mathrm{Be}(\alpha, \beta) = \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{\mathrm{B}(\alpha, \beta)} で仮定しています。ということで \[ \begin{align} P(\mathbf{x}^{(n)}) &= \int_0^1 \theta^{r} (1-\theta)^{n-r} \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{\mathrm{B}(\alpha, \beta)} \ d\theta \\ &= \frac{1}{\mathrm{B}(\alpha, \beta)} \int_0^1 \theta^{\alpha+r-1} (1-\theta)^{\beta+n-r-1}\ d\theta\ \\ &= \frac{\mathrm{B}(\alpha+r,\ \beta+n-r)}{\mathrm{B}(\alpha, \beta)} \end{align} \] なので、\[ \begin{align} p(\theta|\mathbf{x}^{(n)}) &= \theta^{r} (1-\theta)^{n-r} \frac{\mathrm{B}(\alpha, \beta)}{\mathrm{B}(\alpha+r,\ \beta+n-r)} \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{\mathrm{B}(\alpha, \beta)} \\ &= \frac{\theta^{\alpha+r-1} (1-\theta)^{\beta+n-r-1}}{\mathrm{B}(\alpha+r,\ \beta+n-r)} \\ &= \mathrm{Be}(\alpha+r,\ \beta+n-r) \end{align} \] ということで事後分布が簡単に導けました。