\[ \newcommand\tcmt[1]{\class{TinyCmt}{\mbox{#1}}} \newcommand\cmt[1]{\class{Cmt}{\mbox{#1}}} \newcommand\cause[1]{\class{Tiny}{(\because #1)}} \newcommand\l{\left} \newcommand\r{\right} \newcommand\b[1]{\class{Bold}{\mathrm{#1}}} \newcommand\bw{\b{w}} \]

\(p(t=1|y)=\sigma(y)\) とすると、\(t \in \{-1,1\} \) なので \[ p(t=-1|y)=1-p(t=1|y)=1-\sigma(y) = \sigma(-y) \] である。よって \[ \begin{align} p(t|y)&=\sigma(yt) \tag{7.46} \end{align} \] である。データ \( (t_1,y_1), (t_2,y_2), \ldots \) の尤度関数は \[ \begin{align} p(t_1,t_2,\ldots|y_1,y_2,\ldots) &= p(t_1|y_1)p(t_2|y_2)\cdots ~~~\cause{(t_i,y_i)は独立}~\tcmt{※1} \\ &= \prod_{i=1}^N \sigma(y_i t_i)~~~\cause{(7.46)} \end{align} \] となる。尤度の負の対数をとると \[ \begin{align} -\ln p(t_1,t_2,\ldots|y_1,y_2,\ldots) &= -\ln \prod_{i=1}^N \sigma(y_i t_i) \\ &= -\sum_{n=1}^N \ln \sigma(y_i t_i) \\ &= -\sum \ln \frac{1}{1+\exp(-y_i t_i)} ~~~\cause{\sigma\ の定義} \\ &= \sum \ln(1+\exp(-y_i t_i)) \end{align} \] よって誤差関数は \[ E = \sum_{i=1}^N \ln(1+\exp(-y_i t_i)) \] 2乗ノルムの正則化項をつけると \[ E = \sum_{i=1}^N \ln(1+\exp(-y_i t_i)) + \lambda \| \bw \| \] ここで \[ \begin{align} E_{LR}(y t) &= \ln(1+\exp(-y t)) \tag{7.48} \end{align} \] とおくと \[ \begin{align} E &= \sum_{i=1}^N E_{LR}(y_i t_i) + \lambda \| \bw \| \tag{7.47} \end{align} \] を得る。