ユーザ用ツール

サイト用ツール


prml演習5.2の解答

PRML演習5.2の解答

\[ \newcommand\c[1]{\class{TinyCome}{\mbox{#1}}} \newcommand\cc[1]{\class{Come}{\mbox{#1}}} \newcommand\cause[1]{\class{Tiny}{(\because #1)}} \newcommand\l{\left} \newcommand\r{\right} \newcommand\b[1]{\class{Bold}{\mathrm{#1}}} \newcommand\bt{\b{t}} \newcommand\by{\b{y}} \newcommand\bx{\b{x}} \newcommand\bw{\b{w}} \newcommand\bI{\b{I}} \newcommand\bT{\b{T}} \newcommand\bX{\b{X}} \]


\( \bT = \{\bt_n\},\ \bX = \{\bx_n\} \) とすると、観測値 \( (\bt_1,\bx_1),\ (\bt_2,\bx_2),\cdots \) の尤度関数は \[ \leqalignno{ p(\bT|\bX,\bw) &= \prod_{n=1}^N p(\bt_n|\bx_n,\bw) ~~~ \cause{(\bt_1,\bx_1),\ (\bt_2,\bx_2),\cdots\ は独立} \\ &= \prod_{n=1}^N {\cal N}(\bt_n|\by_n(\bx_n,\bw), \beta^{-1}\bI) ~~~\cause{(5.16)} \\ &= \prod_{n=1}^N \frac{1}{(2\pi)^{K/2}} \frac{1}{\lvert \beta^{-1}\bI \rvert^{1/2}} \exp \l\{ -\frac{1}{2}(\bt_n -\by_n)^{T} (\beta^{-1}\bI)^{-1} (\bt_n -\by_n) \r\} \\ &= \prod_{n=1}^N \l( \frac{\beta}{2\pi} \r)^{K/2} \exp \l\{ - \frac{\beta}{2} \lVert \bt_n - \by_n \rVert^2 \r\} } \] これの負の対数をとると \[ \leqalignno{ -\ln p(\bT|\bX,\bw) &= - N \frac{K}{2} \l( \frac{\beta}{2\pi} \r) + \beta \sum_{n=1}^N \frac{1}{2} \lVert \bt_n - \by_n \rVert^2 \\ &= \beta \sum_{n=1}^N \frac{1}{2} \lVert \bt_n - \by_n \rVert^2 + C~~(Cは \bw によらない定数) \\ } \] となる。尤度 \(p(\bT|\bX,\bw) \) の最大化は、負の対数 \( -\ln p(\bT|\bX,\bw) \) の最小化と等価である。よって、尤度の最大化は\( \sum_{n=1}^N \frac{1}{2} \lVert \bt_n - \by_n \rVert^2 ~~~(5.11) \) の最小化と等価であると言える。

prml演習5.2の解答.txt · 最終更新: 2018/02/15 09:25 by ma

ページ用ツール