\[ \newcommand\l{\left} \newcommand\r{\right} \newcommand\cmt[1]{\class{Cmt}{\mbox{#1}}} \newcommand\b[1]{\class{Bold}{\mathrm{#1}}} \newcommand\bx{\b{x}} \newcommand\bz{\b{z}} \newcommand\bw{\b{w}} \newcommand\bt{\b{t}} \newcommand\bX{\b{X}} \newcommand\bb{\b{b}} \newcommand\bA{\b{A}} \newcommand\bI{\b{I}} \newcommand\bH{\b{H}} \newcommand\bu{\b{u}} \newcommand\ba{\b{a}} \newcommand\by{\b{y}} \newcommand\T{\mathrm T} \newcommand\Tr{\mathrm {Tr}} \newcommand\D{{\cal D}} \newcommand\N{{\cal N}} \newcommand\pdiff[2]{\frac{\partial #1}{\partial #2}} \newcommand\bwmap{\bw_{MAP}} \]

出力ユニット\(y_k\)の活性を\(a_k\)とし、活性化関数をソフトマックス関数とすると \[ y_k(\bx,\bw) = \frac{\exp(a_k(\bx,\bw))}{\sum_j\exp(a_j(\bx,\bw))} \] 目標変数 \(\bt\,(1\ of\ K表記)\)の条件付き分布を多項分布とし、ニューラルネットの出力を分布の平均と解釈すると \[ \begin{align} p(\bt|\bx,\bw) &= \prod_{k=1}^K y_k(\bx,\bw)^{t_k} \tag{1} \\ \end{align} \] となる。\(\D=\{\bt_1,\bt_2,\ldots\},\ \bX=\{\bx_1,\bx_2,\ldots\},y_{nk}=y_k(\bx_n,\bw)\) とおくと尤度は \[ \begin{align} p(\D|\bX,\bw)&=\prod_{n=1}^N p(\bt_n|\bx_n,\bw)~~~(\because (\bt_1,\bx_1),(\bt_2,\bx_2),\ldots\ は独立なので) \\ &=\prod_{n=1}^N\prod_{k=1}^K y_{nk}^{t_{nk}} \tag{2} \\ \end{align} \] よって、対数尤度は \[ \begin{align} \ln p(\D|\bX,\bw)&=\sum_{n=1}^N \sum_{k=1}^K t_{nk}\ln y_{nk} \tag{3} \\ \end{align} \] となる。
(注)教科書では条件付き確率の \(\bx,\bx_n,\bX\) の表記は省略されている。

ベイズモデルなので \(\bw\) の推定値は、最大事後確率推定(MAP推定)で得られる。
\(\bw\) の事後分布は、 \[ \begin{align} p(\bw|\D,\bX) &= \frac{p(\D,\bw|\bX)}{p(\D|\bX)} =\frac{p(\D|\bw,\bX)p(\bw)}{p(\D|\bX)} \\ &\propto p(\D|\bw,\bX)p(\bw)~~~\cmt{※1} \\ \end{align} \] なので、対数事後分布は、 \[ \begin{align} \ln p(\bw|\D,\bX) &= \ln p(\D|\bw,\bX) + \ln p(\bw) + C~~~(Cは\bwに依らない定数) \\ &=\sum_{n=1}^N\sum_{k=1}^K t_{nk}\ln y_{nk} + \ln p(\bw) + C~~~(\because\ (3)) \\ \end{align} \] となる。\(\bw\) の事前分布を等方ガウス分布(5.162)とすると \[ \ln p(\bw|\D,\bX) = \sum_{n=1}^N\sum_{k=1}^K t_{nk}\ln y_{nk} -{\alpha\over2}\bw^\T\bw + C \] となる。よって、対数事後分布の最大化は、正則化誤差関数(5.182) \[ \begin{align} E(\bw) &= -\ln p(\D|\bw,\bX)+{\alpha\over2}\bw^\T\bw \tag{4a} \\ &= -\sum_{n=1}^N\sum_{k=1}^K t_{nk}\ln y_{nk} + {\alpha\over2}\bw^\T\bw \tag{4b} \\ \end{align} \] の最小化と等価であることが分かる。
\(E(\bw)\)を最小にする \(\bwmap\) は \(\b{0}=\pdiff{E}{\bw}\) で与えられる。 この解は、5.2.4節の勾配降下法で得ることができる。途中で必要な \(\pdiff{E}{\bw}\) の計算値は、5.3節の誤差逆伝播で得ることが出来る。

新しい \(\bx\) に対する \(\bt\) の予測分布は、 \[ \begin{align} p(\bt|\bx,\D,\bX) &=\int p(\bt,\bw|\bx,\D,\bX)\,d\bw =\int p(\bt|\bx,\bw)p(\bw|\D,\bX)\,d\bw \\ &=\int \prod_{k=1}^K y_(\bx,\bw)^{t_k}p(\bw|\D,\bX)\,d\bw \\ \end{align} \] で与えられる。このまま積分するのは難しいので近似する。
(近似1)
5.7.3節の(5.185)と同様に事後分布を \(p(\bw|\D,\bx)\simeq \delta(\bw-\bwmap)\) と近似して \[ \begin{align} p(\bt|\bx,\D,\bX)&=\int \prod_{k=1}^K y_k(\bx,\bw)^{t_k}p(\bw|\D,\bX)\,d\bw \\ &\simeq \int \prod_{k=1}^K y_k(\bx,\bw)^{t_k}\delta(\bw-\bwmap)\,d\bw \\ &=\prod_{k=1}^K y_k(\bx,\bwmap)^{t_k} \\ \end{align} \] を得る。
(近似2)
5.7.3節の(5.190)と同様の近似は出来ないことの説明。
(5.186)と同様にネットワークの出力 \(y_k\) の活性 \(a_k\) を線形近似する。 \[ a_k(\bx,\bw)\simeq a_k^{MAP}(\bx)+\bb_k^\T(\bw -\bwmap) \] ただし、 \[ \begin{align} a_k^{MAP}(\bx) &= a_k(\bx,\bwmap) \\ \bb_k &= \nabla a_k(\bx,\bw) \Big|_{\bw=\bwmap} \end{align} \] とする。このときネットワークの出力 \(y_k\) は \[ y_k(\bx,\bw)\simeq \frac{\exp\Big(a_k^{MAP}(\bx)+\bb_k^\T(\bw-\bwmap)\Big)} {\sum_j \exp\Big(a_j^{MAP}(\bx)+\bb_j^\T(\bw-\bwmap)\Big)} \] となる。これより 新しい \(\bx\) に対して \(\bt{=}(0\cdots\underset{\moveleft1em\rlap{k番目}\hphantom{1}}{1}\cdots0)\) となる確率密度は、 \[ \small \begin{align} &p(\bt{=}(0\cdots\underset{\moveleft1em\rlap{k番目}\hphantom{1}}{1}\cdots0)|\bx,\D,\bX) = \int y_k(\bx,\bw)p(\bw|\D,\bX)\,d\bw \\ ~~~~&\simeq \int \frac{\exp\Big(a_k^{MAP}(\bx)+\bb_k^\T(\bw-\bwmap)\Big)} {\sum_j \exp\Big(a_j^{MAP}(\bx)+\bb_j^\T(\bw-\bwmap)\Big)} p(\bw|\D,\bX)\,d\bw ~~~(a_k\ を線形近似) \\ ~~~~&\simeq \int \underbrace{ \frac{\exp\Big(a_k^{MAP}(\bx)+\bb_k^\T(\bw-\bwmap)\Big)} {\sum_j \exp\Big(a_j^{MAP}(\bx)+\bb_j^\T(\bw-\bwmap)\Big)} }_{(＊)} q(\bw|\D,\bX)\,d\bw ~~~(p(\bw|\D,\bX)をラプラス近似) \\ \end{align} \] となる。積分の中の(＊)が \(\bw^\T\bb_k\) を変数とするシグモイド関数になっていないので、この積分を(4.145)と同じ形と見なせない。よって、4.5.2節の結果を利用して積分を得ることができない。

5.7.3節では、(＊)の部分が \(\sigma(a_{MAP}(\bx)+\bb^\T(\bw-\bwmap))\) となっていたので、(4.145)の積分と同じ形と見なすことができ、(4.148)、(4.150)、(4.153)を用いて(5.190)の積分を得ることができた。

\(\alpha\) のエビデンス関数は \[ p(\D|\alpha,\bX)=\int p(\D|\bw,\bX)p(\bw|\alpha)\,d\bw \] である。右辺の \[ f(\bw)=p(\D|\bw,\bX)p(\bw|\alpha) \] をラプラス近似する。\(\cmt{※2}\) このとき、(4.135)より \[ \begin{align} p(\D|\alpha,\bX)&=\int f(\bw)\,d\bw \\ &\simeq f(\bwmap)\frac{(2\pi)^{W/2}}{|\bA|^{1/2}} \\ \end{align} \] となる。ただし、\(W\) は \(\bw\) の次元で、 \[ \begin{align} \bA&=-\nabla\nabla\ln f(\bw)\Big|_{\bw=\bwmap} \tag{4.132} \\ \end{align} \] である。 よって \[ \ln p(\D|\alpha,\bX)=\ln f(\bwmap)+{W\over2}\ln(2\pi)-{1\over2}\ln|\bA| \] ここで、 \[ \small \begin{align} \ln f(\bwmap) &= \ln p(\D|\bwmap,\bX)+\ln p(\bwmap|\alpha) \\ &= -E(\bwmap)+{\alpha\over2}\bwmap^\T\bwmap+\ln \N(\bwmap|\b{0},\alpha^{-1}\bI)~~~\cmt{※3, ※4} \\ &= -E(\bwmap)+{\alpha\over2}\bwmap^\T\bwmap +\ln {1\over|2\pi|^{W/2}}{1\over|\alpha^{-1}\bI|^{1/2}} \exp\Big(-{\alpha\over2}\bwmap^\T\bwmap\Big) \\ &= -E(\bwmap)-{W\over2}\ln(2\pi)+{W\over2}\ln \alpha ~~~\cmt{※5} \end{align} \] なので \[ \ln p(\D|\alpha,\bX)=-E(\bwmap)-{1\over2}\ln|\bA|+{W\over2}\ln\alpha \] を得る。 これを最大にする \(\alpha\) は \[ \begin{align} 0 &= \pdiff{}{\alpha}\ln p(\D|\alpha,\bX) \\ &=\pdiff{}{\alpha}\Big(-E(\bwmap)-{1\over2}\ln|\bA|+{W\over2}\ln\alpha\Big) \\ &=-{1\over2}\bwmap^\T\bwmap-{1\over2}\pdiff{}{\alpha}\ln|\bA|+{W\over2\alpha} ~~~\cmt{※6} \\ \end{align} \] で与えられる。ここで \[ \begin{align} \bA &= -\nabla\nabla\ln f(\bw)\Big|_{\bw=\bwmap} \\ &=-\nabla\nabla\ln p(\D|\bw,\bX)\Big|_{\bw=\bwmap}-\nabla\nabla\ln p(\bw|\alpha)\Big|_{\bw=\bwmap} \\ &=\bH+\alpha\bI ~~~\cmt{※7} \\ \end{align} \] である。ただし \[ \bH = -\nabla\nabla\ln p(\D|\bw,\bX)\Big|_{\bw=\bwmap} \] とする。 \(\bH\) の固有値を \(\lambda_i\ (i=1,\cdots,W)\) とすると\(\cmt{※8}\) \(\bA\) の固有値は \(\lambda_i+\alpha\ (i=1,\cdots,W)\)となる。\(\cmt{※9}\) よって \[ \begin{align} \pdiff{}{\alpha}\ln|\bA| &= \pdiff{}{\alpha}\ln\prod_{i=1}^W(\lambda_i+\alpha)~~~(\because\ (C.47)) \\ &=\pdiff{}{\alpha}\sum_{i=1}^W \ln(\lambda_i+\alpha) \\ &=\sum_{i=1}^W{1\over\lambda_i+\alpha} \\ \end{align} \] これを上の式に入れて \[ \begin{align} 0&=-{1\over2}\bwmap^\T\bwmap-{1\over2}\sum_{i=1}^W{1\over\lambda_i+\alpha}+{W\over2\alpha} \\ \therefore\ 0&=-\alpha\bwmap^\T\bwmap-\sum_{i=1}^W{\alpha\over\lambda_i+\alpha}+\sum_{i=1}^W 1 \\ &=-\alpha\bwmap^\T\bwmap+\sum_{i=1}^W{\lambda_i\over\lambda_i+\alpha} \\ \therefore\ \alpha &= {\gamma\over\bwmap^\T\bwmap} \tag{5.178} \end{align} \] を得る。ただし \[ \begin{align} \gamma &= \sum_{i=1}^W{\lambda_i\over\lambda_i+\alpha} \tag{5.179} \\ \end{align} \] とする。

問われてはいないが、8章の確率モデル図をこの問題のモデルについて書いてみる。 (以前、ニューラルネットワークを確率モデル図の一種と誤解していたので。今でも色々誤解しているが、、、)

まず、ニューラルネットと確率モデル図は別のものである。

• ニューラルネットワークのノードは確率変数とは限らない。矢印はノード間の確率的依存関係を表現していない。各ノードに条件付き分布が割り当てられていない。同時分布を与えない。
• 確率モデル図のノードは確率変数である。矢印はノード間の確率的依存関係\(\cmt{※10}\)を表現している。各ノードに条件付き分布を割り当てる。各ノードの分布の積が同時分布を与える。

上の解答において、確率変数は \(\bt,\bt_n,\bw,\bz,\ba,\by\) である。\(\bx\) は分布を考えず確率変数ではないとした。