矮小

井の中の蛙

PRML 演習問題2.4 分散

何も考えずに微分して式変形。

その前に、分散=2乗の平均−平均の2乗を導いておく。

 \begin{align}
\textrm{var}[m] &= \sum_{m=0}^N (m - \mathbb{E}[m])^2 \textrm{Bin}(m|N,\mu) \\
&= \sum_{m=0}^N (m^2 - 2m\mathbb{E}[m] + \mathbb{E}[m]^2) \textrm{Bin}(m|N,\mu) \\
&= \sum_{m=0}^N m^2 \textrm{Bin}(m|N,\mu) - 2\mathbb{E}[m] \sum_{m=0}^N m \textrm{Bin}(m|N,\mu) + \mathbb{E}[m]^2 \sum_{m=0}^N \textrm{Bin}(m|N,\mu) \\
&= \mathbb{E}[m^2] - 2 \mathbb{E}[m]^2 + \mathbb{E}[m]^2 \\
&= \mathbb{E}[m^2] - \mathbb{E}[m]^2
\end{align}

 \sum_{m=0}^N m \textrm{Bin}(m|N,\mu) = \mathbb{E}[m] \sum_{m=0}^N \textrm{Bin}(m|N,\mu) = 1 であることに注意。これで、 \mathbb{E}[m^2] - \mathbb{E}[m]^2 = N\mu(1-\mu) を示せばよくなった。

先に示した平均の式は、正規化条件の1階微分を式変形しただけのものであるため、平均の式を更に微分すれば、正規化条件の2階微分になる。

 \begin{align}
\frac{\partial}{\partial \mu} \sum_{m=0}^N m \binom Nm \mu^m (1-\mu)^{N-m} &= \frac{\partial}{\partial \mu} N\mu \\
\sum_{m=0}^N m \binom Nm \left\{ m \mu^{m-1} (1-\mu)^{N-m} + \mu^m (N-m)(1-\mu)^{N-m-1}(-1) \right\} &= N \\
\sum_{m=0}^N m^2 \binom Nm \mu^{m-1} (1-\mu)^{N-m} - \sum_{m=0}^N m \binom Nm \mu^m (N-m)(1-\mu)^{N-m-1} &= N \\
\sum_{m=0}^N m^2 \binom Nm \mu^{m-1} (1-\mu)^{N-m} - N \sum_{m=0}^N m \binom Nm \mu^m (1-\mu)^{N-m-1} +\\
\sum_{m=0}^N m^2 \binom Nm \mu^m (1-\mu)^{N-m-1} &= N\\
\frac{1}{\mu} \sum_{m=0}^N m^2 \binom Nm \mu^m (1-\mu)^{N-m} - \frac{N}{1-\mu} \sum_{m=0}^N m \binom Nm \mu^m (1-\mu)^{N-m} +\\
\frac{1}{1-\mu} \sum_{m=0}^N m^2 \binom Nm \mu^m (1-\mu)^{N-m} &= N \\
(1-\mu) \sum_{m=0}^N m^2 \textrm{Bin}(m|N,\mu) - N\mu \sum_{m=0}^N m \textrm{Bin}(m|N,\mu) + \mu \sum_{m=0}^N m^2 \textrm{Bin}(m|N,\mu) &= N\mu(1-\mu) \\
\sum_{m=0}^N m^2 \textrm{Bin}(m|N,\mu) - \left\{ \sum_{m=0}^N m \textrm{Bin}(m|N,\mu) \right\}^2 &= N\mu(1-\mu) \\
\mathbb{E}[m^2] - \mathbb{E}[m]^2 &= N\mu(1-\mu)
\end{align}

6→7行目は、平均の式より  \sum_{m=0}^N m \textrm{Bin}(m|N,\mu) = N\mu だったことを使う。

第2章、これ以上解けそうな問題がない……。