PRML 演習問題2.4 平均

微分のやり方間違えてた。ようやく解けた。

$\displaystyle \mathbb{E}[m] \equiv \sum_{m=0}^{N} m \mathrm{Bin}(m|N,\mu) = N\mu$

を証明する。指示通り、二項定理の正規化条件の両辺を $\mu$ で微分して変形することによりこの形を導く。

$\begin{align} \sum_{m=0}^N \binom{N}{m}\mu^m(1-\mu)^{N-m} &= 1 \\ \frac{\partial}{\partial \mu} \sum_{m=0}^N \binom{N}{m}\mu^m(1-\mu)^{N-m} &= \frac{\partial}{\partial \mu}1 \\ \sum_{m=0}^N \binom{N}{m} \left\{ m \mu^{m-1}(1-\mu)^{N-m} + \mu^m(N-m)(1-\mu)^{N-m-1}(-1) \right\} &= 0 \\ \sum_{m=0}^N \binom{N}{m} m \mu^{m-1}(1-\mu)^{N-m} - \sum_{m=0}^N \binom{N}{m} \mu^m(N-m)(1-\mu)^{N-m-1} &= 0 \\ \sum_{m=0}^N \binom{N}{m} m \mu^{m-1}(1-\mu)^{N-m} \\- \sum_{m=0}^N \binom{N}{m} \left\{ N \mu^m(1-\mu)^{N-m-1} - m \mu^m(1-\mu)^{N-m-1} \right\} &= 0 \\ \sum_{m=0}^N m \binom{N}{m} \mu^{m-1}(1-\mu)^{N-m} \\- N \sum_{m=0}^N \binom{N}{m} \mu^m(1-\mu)^{N-m-1} + \sum_{m=0}^N m \binom{N}{m} \mu^m(1-\mu)^{N-m-1} &= 0 \\ \frac{1}{\mu} \sum_{m=0}^N m \binom{N}{m} \mu^{m}(1-\mu)^{N-m} \\- \frac{N}{1-\mu} \sum_{m=0}^N \binom{N}{m} \mu^m(1-\mu)^{N-m} + \frac{1}{1-\mu} \sum_{m=0}^N m \binom{N}{m} \mu^m(1-\mu)^{N-m} &= 0 \\ \left( \frac{1}{\mu} + \frac{1}{1-\mu} \right) \sum_{m=0}^N m \binom{N}{m} \mu^{m}(1-\mu)^{N-m} &= \frac{N}{1-\mu} \\ \frac{1}{\mu(1-\mu)} \sum_{m=0}^N m \binom{N}{m} \mu^{m}(1-\mu)^{N-m} &= \frac{N}{1-\mu} \\ \sum_{m=0}^N m \binom{N}{m} \mu^{m}(1-\mu)^{N-m} &= N \mu \end{align}$

2→3行目：積の微分公式は $\{f(x)g(x)\}' = f'(x)g(x)+f(x)g'(x)$ 。 $g(x)$ に当たる $(1-\mu)^{N-m}$ が合成関数であることに注意
6→7行目：第1項、第2項、第3項にそれぞれ $\frac{\mu}{\mu},\frac{1-\mu}{1-\mu},\frac{1-\mu}{1-\mu}$ を掛け、それぞれの分子を $\sum$ の中に繰り込む
7→8行目：第1項と第3項は $\sum$ の中身が同じなので係数をまとめられる。第2項は正規化条件より $\sum$ の部分は1だった
9→10行目：両辺に $\mu(1-\mu)$ を掛ける