ユーザ用ツール

サイト用ツール


prml演習5.5の解答

PRML演習5.5の解答

\[ \newcommand\c[1]{\color{red}{{\Tiny\mbox{#1}}}} \newcommand\cc[1]{\color{red}{\mbox{#1}}} \newcommand\cause[1]{{\Tiny (\because #1)}} \newcommand\l{\left} \newcommand\r{\right} \newcommand\b[1]{\pmb{\mathrm{#1}}} \newcommand\bt{\b{t}} \newcommand\bx{\b{x}} \newcommand\bw{\b{w}} \newcommand\bT{\b{T}} \newcommand\bX{\b{X}} \]

多クラス分類問題

( 条件付き分布を求める )

\(K=3\) の場合を考える \[ \leqalignno{ &C_1\ であるとは\ t_1 = 1\ すなわち\ \bt=(1,0,0)\ ということ \\ &C_2\ であるとは\ t_2 = 1\ すなわち\ \bt=(0,1,0)\ ということ \\ &C_3\ であるとは\ t_3 = 1\ すなわち\ \bt=(0,0,1)\ ということ \\ } \] なので、入力 \(\bx\) の条件付きの \(C_1\) の起こる確率は \[ \leqalignno{ &p(C_1|\bx) = p(t_1=1|\bx)=y_1 } \] である。同様に \[ \leqalignno{ &p(C_2|\bx) = y_2 \\ &p(C_3|\bx) = y_3 \\ } \] これより、入力 \(\bx\) の条件付きの \(\bt\) の確率分布は、 \[ \leqalignno{ p(\bt|\bx) &= \{p(C_1|\bx)\}^{t_1} \{p(C_2|\bx)\}^{t_2} \{p(C_3|\bx)\}^{t_3} \\ &= y_1^{t_1} y_2^{t_2} y_3^{t_3} } \] となる。 同様にして、クラス数がK個のとき、入力 \(\bx\) の条件付きの \(\bt\) の確率分布は、 \[ \leqalignno{ p(\bt|\bx) &= \prod_{k=1}^K p(C_k|\bx)^{t_k} \\ &= \prod_{k=1}^K y_k^{t_k} } \] となる。

(尤度関数を求める)

\( p(\bt|\bx) \) を用いて、観測値 \((t_1,x_1),\ (t_2,x_2),\ \cdots\) の尤度関数は、
\( \bT = \{\bt_n\},\ \bX = \{\bx_n\} \) として \[ \leqalignno{ p(\bT|\bX) &= \prod_{n=1}^N p(\bt_n|\bx_n) ~~~(\because (\bt_n,\bx_n)は独立) \\ &= \prod_{n=1}^N \prod_{k=1}^K y_{nk}^{t_{nk}} ,\ 但し y_{nk} = y_k(\bx_n, \bw) } \] となる。負の対数をとると \[ \leqalignno{ - \ln p(\bT|\bX) &= -\sum_{n=1}^N \sum_{k=1}^K t_{nk} \ln(y_{nk}) } \] となる。これは(5.24)と同じである。よって、Kクラス問題の尤度関数の最適化は、交差エントロピー誤差(5.24)の最小化と等価である。

prml演習5.5の解答.txt · 最終更新: 2018/01/26 11:26 by ma

ページ用ツール