\(\alpha\) のエビデンス関数は
\[
p(\D|\alpha,\bX)=\int p(\D|\bw,\bX)p(\bw|\alpha)\,d\bw
\]
である。右辺の
\[
f(\bw)=p(\D|\bw,\bX)p(\bw|\alpha)
\]
をラプラス近似する。\(\cmt{※2}\)
このとき、(4.135)より
\[
\begin{align}
p(\D|\alpha,\bX)&=\int f(\bw)\,d\bw \\
&\simeq f(\bwmap)\frac{(2\pi)^{W/2}}{|\bA|^{1/2}} \\
\end{align}
\]
となる。ただし、\(W\) は \(\bw\) の次元で、
\[
\begin{align}
\bA&=-\nabla\nabla\ln f(\bw)\Big|_{\bw=\bwmap} \tag{4.132} \\
\end{align}
\]
である。
よって
\[
\ln p(\D|\alpha,\bX)=\ln f(\bwmap)+{W\over2}\ln(2\pi)-{1\over2}\ln|\bA|
\]
ここで、
\[
\small
\begin{align}
\ln f(\bwmap) &= \ln p(\D|\bwmap,\bX)+\ln p(\bwmap|\alpha) \\
&= -E(\bwmap)+{\alpha\over2}\bwmap^\T\bwmap+\ln \N(\bwmap|\b{0},\alpha^{-1}\bI)~~~\cmt{※3, ※4} \\
&= -E(\bwmap)+{\alpha\over2}\bwmap^\T\bwmap
+\ln {1\over|2\pi|^{W/2}}{1\over|\alpha^{-1}\bI|^{1/2}}
\exp\Big(-{\alpha\over2}\bwmap^\T\bwmap\Big) \\
&= -E(\bwmap)-{W\over2}\ln(2\pi)+{W\over2}\ln \alpha ~~~\cmt{※5}
\end{align}
\]
なので
\[
\ln p(\D|\alpha,\bX)=-E(\bwmap)-{1\over2}\ln|\bA|+{W\over2}\ln\alpha
\]
を得る。
これを最大にする \(\alpha\) は
\[
\begin{align}
0 &= \pdiff{}{\alpha}\ln p(\D|\alpha,\bX) \\
&=\pdiff{}{\alpha}\Big(-E(\bwmap)-{1\over2}\ln|\bA|+{W\over2}\ln\alpha\Big) \\
&=-{1\over2}\bwmap^\T\bwmap-{1\over2}\pdiff{}{\alpha}\ln|\bA|+{W\over2\alpha} ~~~\cmt{※6} \\
\end{align}
\]
で与えられる。ここで
\[
\begin{align}
\bA &= -\nabla\nabla\ln f(\bw)\Big|_{\bw=\bwmap} \\
&=-\nabla\nabla\ln p(\D|\bw,\bX)\Big|_{\bw=\bwmap}-\nabla\nabla\ln p(\bw|\alpha)\Big|_{\bw=\bwmap} \\
&=\bH+\alpha\bI ~~~\cmt{※7} \\
\end{align}
\]
である。ただし
\[
\bH = -\nabla\nabla\ln p(\D|\bw,\bX)\Big|_{\bw=\bwmap}
\]
とする。
\(\bH\) の固有値を \(\lambda_i\ (i=1,\cdots,W)\) とすると\(\cmt{※8}\)
\(\bA\) の固有値は \(\lambda_i+\alpha\ (i=1,\cdots,W)\)となる。\(\cmt{※9}\)
よって
\[
\begin{align}
\pdiff{}{\alpha}\ln|\bA| &= \pdiff{}{\alpha}\ln\prod_{i=1}^W(\lambda_i+\alpha)~~~(\because\ (C.47)) \\
&=\pdiff{}{\alpha}\sum_{i=1}^W \ln(\lambda_i+\alpha) \\
&=\sum_{i=1}^W{1\over\lambda_i+\alpha} \\
\end{align}
\]
これを上の式に入れて
\[
\begin{align}
0&=-{1\over2}\bwmap^\T\bwmap-{1\over2}\sum_{i=1}^W{1\over\lambda_i+\alpha}+{W\over2\alpha} \\
\therefore\ 0&=-\alpha\bwmap^\T\bwmap-\sum_{i=1}^W{\alpha\over\lambda_i+\alpha}+\sum_{i=1}^W 1 \\
&=-\alpha\bwmap^\T\bwmap+\sum_{i=1}^W{\lambda_i\over\lambda_i+\alpha} \\
\therefore\ \alpha &= {\gamma\over\bwmap^\T\bwmap} \tag{5.178}
\end{align}
\]
を得る。ただし
\[
\begin{align}
\gamma &= \sum_{i=1}^W{\lambda_i\over\lambda_i+\alpha} \tag{5.179} \\
\end{align}
\]
とする。