\(D=3,\ M=2\ \)の場合、問題の状況は以下のようになっている。
データ点\(\ \bx_n\ \)と近似点\(\ \bx_n'\ \)の関係はこんな感じになる
平面は\(\ \bmu\ \)、\(\ \bm_1\ \)、\(\ \bm_2\ \)で与えられる。
平面上に\(\ \bx_n\ \)の近似点\(\ \bx_n'\ \)を取る。(正射影でなくてもよい)
\(\ \bx_n'\ \)は平面上にあるので、\(\ \bW = \pmatrix{\bm_1 & \bm_2}\ \)として、
\[
\begin{align}
\bx_n' &= \bmu + z_{n1}\bm_1 + z_{n2}\bm_2 \\
&=\bmu + \bW\bz_n~~~\cmt{※1}
\end{align}
\]
と表される。\(\ \bx_n\ \)と\(\ \bx_n'\ \)の再構成コストは
\[
J_n = \l\|\bx_n-\bx_n'\r\|^2=\l\|\bx_n-\bmu-\bW\bz_n\r\|^2
\]
で与えられるとする。このとき、全データ点のトータルの再構成コストは
\[
J = \sum_{n=1}^N \l\|\bx_n-\bx_n'\r\|^2 = \sum_{n=1}^N \l\|\bx_n-\bmu-\bW\bz_n\r\|^2
\]
となる。
(\(\ \bmu,\ \bW,\ \bz_n\ \)の推定方法)
(1)\(\ \bx_n,\ \bz_n\ \)の分布を考えて最尤推定で\(\ \bmu,\ \bW,\ \E(\bz_n)\ \)を点推定する。
また、最尤推定はEMアルゴリズムで実行する。\(\ \Rightarrow\ \)12.2.2節
(2)\(\ \bx_n,\ \bz_n\ \)の分布は考えない。全データ点のトータルの再構成コスト \(J\) を最小にするように\(\ \bmu,\ \bW,\ \bz_n\ \)を点推定する。\(\ \Rightarrow\ \)この問題