矮小

井の中の蛙

PRML 演習9.3

こんなところにもやるだけの問題が.

混合ガウス分布の問題.2値確率変数  \boldsymbol{z} は1-of-K符号化されていて,

 \displaystyle p(\boldsymbol{z}) = \prod_{k=1}^K \pi_k^{z_k}\\
\displaystyle p(\boldsymbol{x}|\boldsymbol{z}) = \prod_{k=1}^K \mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu_k}, \Sigma_k)^{z_k}

とする.このとき  p(\boldsymbol{x},\boldsymbol{z}) = p(\boldsymbol{z})p(\boldsymbol{x}|\boldsymbol{z}) だから,

 \begin{align}
p(\boldsymbol{x}) &= \sum_{\boldsymbol{z}} p(\boldsymbol{x},\boldsymbol{z}) = \sum_{\boldsymbol{z}} p(\boldsymbol{z})p(\boldsymbol{x}|\boldsymbol{z}) \\
&= \sum_{\boldsymbol{z}} \left\{ \prod_{k=1}^K \pi_k^{z_k} \prod_{k=1}^K \mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu_k}, \Sigma_k)^{z_k} \right\}\\
&= \sum_{\boldsymbol{z}} \prod_{k=1}^K \pi_k^{z_k} \mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu_k}, \Sigma_k)^{z_k}\\
&= \sum_{\boldsymbol{z}} \prod_{k=1}^K \left\{ \pi_k \mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu_k}, \Sigma_k) \right\}^{z_k}
\end{align}

総積の部分は典型的な1-of-K符号化の確率の形になっている.これを  z_1 = 1 のときから  z_K = 1 のときまでのものを全部足し合わせればいいので, k についての総和になる.よって

 \displaystyle p(\boldsymbol{x}) = \sum_{k=1}^K \pi_k \mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu_k}, \Sigma_k)

これ以外の問題は全然分からない.