矮小

井の中の蛙

PRML 演習3.1

 \begin{align}
\tanh{a} &= \frac{\sinh a}{\cosh a} = \frac{2^{-1}(e^a - e^{-a})}{2^{-1}(e^a + e^{-a})} = \frac{e^a - e^{-a}}{e^a + e^{-a}}\\
\sigma(a) &=\frac{1}{1 + e^{-a}}
\end{align}

だから,
 \begin{align}
2\sigma(2a) - 1 &= \frac{2}{1 + e^{-2a}} - 1\\
&= \frac{2}{1 + e^{-2a}} - \frac{1 + e^{-2a}}{1 + e^{-2a}}\\
&= \frac{1 - e^{-2a}}{1 + e^{-2a}}\\
&= \frac{1 - e^{-2a}}{1 + e^{-2a}} \cdot \frac{e^a}{e^a} = \frac{e^a - e^{-a}}{e^a + e^{-a}} = \tanh a
\end{align}

 \tanh 関数の線形結合から変形すると,

 \begin{align}
y(x, {\bf u}) &= u_0 + \sum_{j=1}^M u_j \tanh{\frac{x-\mu_j}{2s}}\\
&= u_0 + \sum_{j=1}^M \left\{ u_j 2\sigma \left( \frac{x-\mu_j}{s} \right) - 1 \right\}\\
&= u_0 - M + \sum_{j=1}^M 2u_j \sigma \left( \frac{x-\mu_j}{s} \right)
\end{align}

となるので, u_0 = w_0 + M u_j = w_j / 2 というパラメータ関係の下でロジスティックシグモイド関数の線形結合と等価である.

本当か……?