prml演習5.5の解答
PRML演習5.5の解答
\[
\newcommand\c[1]{\color{red}{{\Tiny\mbox{#1}}}}
\newcommand\cc[1]{\color{red}{\mbox{#1}}}
\newcommand\cause[1]{{\Tiny (\because #1)}}
\newcommand\l{\left}
\newcommand\r{\right}
\newcommand\b[1]{\pmb{\mathrm{#1}}}
\newcommand\bt{\b{t}}
\newcommand\bx{\b{x}}
\newcommand\bw{\b{w}}
\newcommand\bT{\b{T}}
\newcommand\bX{\b{X}}
\]
多クラス分類問題
( 条件付き分布を求める )
\(K=3\) の場合を考える
\[
\leqalignno{
&C_1\ であるとは\ t_1 = 1\ すなわち\ \bt=(1,0,0)\ ということ \\
&C_2\ であるとは\ t_2 = 1\ すなわち\ \bt=(0,1,0)\ ということ \\
&C_3\ であるとは\ t_3 = 1\ すなわち\ \bt=(0,0,1)\ ということ \\
}
\]
なので、入力 \(\bx\) の条件付きの \(C_1\) の起こる確率は
\[
\leqalignno{
&p(C_1|\bx) = p(t_1=1|\bx)=y_1
}
\]
である。同様に
\[
\leqalignno{
&p(C_2|\bx) = y_2 \\
&p(C_3|\bx) = y_3 \\
}
\]
これより、入力 \(\bx\) の条件付きの \(\bt\) の確率分布は、
\[
\leqalignno{
p(\bt|\bx)
&= \{p(C_1|\bx)\}^{t_1} \{p(C_2|\bx)\}^{t_2} \{p(C_3|\bx)\}^{t_3} \\
&= y_1^{t_1} y_2^{t_2} y_3^{t_3}
}
\]
となる。
同様にして、クラス数がK個のとき、入力 \(\bx\) の条件付きの \(\bt\) の確率分布は、
\[
\leqalignno{
p(\bt|\bx)
&= \prod_{k=1}^K p(C_k|\bx)^{t_k} \\
&= \prod_{k=1}^K y_k^{t_k}
}
\]
となる。
(尤度関数を求める)
\( p(\bt|\bx) \) を用いて、観測値 \((t_1,x_1),\ (t_2,x_2),\ \cdots\) の尤度関数は、
\( \bT = \{\bt_n\},\ \bX = \{\bx_n\} \) として
\[
\leqalignno{
p(\bT|\bX)
&= \prod_{n=1}^N p(\bt_n|\bx_n) ~~~(\because (\bt_n,\bx_n)は独立) \\
&= \prod_{n=1}^N \prod_{k=1}^K y_{nk}^{t_{nk}} ,\ 但し y_{nk} = y_k(\bx_n, \bw)
}
\]
となる。負の対数をとると
\[
\leqalignno{
- \ln p(\bT|\bX) &= -\sum_{n=1}^N \sum_{k=1}^K t_{nk} \ln(y_{nk})
}
\]
となる。これは(5.24)と同じである。よって、Kクラス問題の尤度関数の最適化は、交差エントロピー誤差(5.24)の最小化と等価である。
prml演習5.5の解答.txt · 最終更新: 2018/01/26 11:26 by ma