ユーザ用ツール

サイト用ツール


prml演習12.29の解答

PRML演習12.29の解答

\[ \newcommand\l{\left} \newcommand\r{\right} \newcommand\cmt[1]{\class{Cmt}{\mbox{#1}}} \newcommand\b[1]{\class{Bold}{\mathrm{#1}}} \newcommand\Eaaaa{\mathbb E} \newcommand\E{\mathop{\mathbb E}\limits} \newcommand\var{\mathrm{var}} \newcommand\cov{\mathrm{cov}} \]


\(z_1\) と \(z_2\) が独立とすると、\(p(z_1,z_2)=p(z_1)p(z_2)\) である。 このとき \(z_1\) と \(z_2\) の共分散は \[ \begin{align} \cov[z_1,z_2]&=\E_{\rlap{\llap{p}(z_1,z_2)}}[z_1 z_2] -\E_{\rlap{\llap{p}(z_1)}}[z_1] \E_{\rlap{\llap{p}(z_2)}}[z_2]~~~(\because 共分散の公式) \\ &=\int p(z_1,z_2)z_1 z_2 \,dz_1 dz_2 -\int p(z_1)z_1\,dz_1\int p(z_2)z_2\,dz_2 \\ &=\underset{(\because p(z_1,z_2)=p(z_1)p(z_2) )} {\int p(z_1)z_1\,dz_1\int p(z_2)z_2\,dz_2} -\int p(z_1)z_1\,dz_1\int p(z_2)z_2\,dz_2 \\ &= 0\\ \end{align} \] となる。分散は \[ \begin{align} \var[z_1]&=\E_{\rlap{\llap{p}(z_1)}}[z_1^2] -(\E_{\rlap{\llap{p}(z_1)}}[z_1])^2~~~(\because 分散の公式) \\ &=\int p(z_1)z_1^2\,dz_1 -\l(\int p(z_1)z_1\,dz_1\r)^2 \end{align} \] である。ほとんど\(0\) になることはないが、\(\var[z_1]\ne 0, \var[z_2]\ne 0\) と仮定する。 このとき \(z_1\) と \(z_2\) の共分散行列は \[ \begin{align} \b{\Sigma} &= \pmatrix{\var[z_1] & \cov[z_1, z_2] \\ \cov[z_1, z_2] & \var[z_2]} \\ &= \pmatrix{\var[z_1] & 0 \\ 0 & \var[z_2]} \\ \end{align} \] となり、対角行列になる。
相関係数は \[ \begin{align} \rho(z_1,z_2) &= {\cov[z_1,z_2] \over (\var[z_1]\var[z_2])^{1/2}}~~~(\because 相関係数の定義) \\ &= 0 \end{align} \] となり、\(z_1\) と \(z_2\) は無相関である。よって\(z_1\) と \(z_2\) は独立ならば無相関であるといえる。すなわち、独立性は無相関の十分条件である。

次に、\(y_1, y_2\) について、\(y_2 = y_1^2\) とすると \[ \begin{align} p(y_2 \mid y_1) &= \l\{ \matrix{1\ (y_2=y_1^2) \\ 0\ (y_2 \ne y_1^2)} \r. \\ &= \delta(y_2 - y_1^2) \end{align} \] となり、\(p(y_2 \mid y_1)\) は \(y_1\) に依存している。\(\cmt{※1}\)
\( \begin{align} \cmt{※1}~~~&たとえば \\ &p(y_2=1 \mid y_1=1) = 1 \\ &p(y_2=1 \mid y_1=0) = 0 \\ &である。y_2 = 1\ となる確率密度\ p(y_2\mid y_1)\ が\ y_1\ の値によって変化する。\\ &これは\ p(y_2\mid y_1)\ が\ y_1\ に依存していることを意味する。 \end{align} \)
\(p(y_2 \mid y_1)\) が \(y_1\) に依存しているので、\(p(y_2 \mid y_1) \ne p(y_2)\) である。すなわち \(y_1\) と \(y_2\) は独立でない。このとき共分散は \[ \begin{align} \cov[y_1,y_2]&=\E_{\rlap{\llap{p}(y_1,y_2)}}[y_1 y_2] -\E_{\rlap{\llap{p}(y_1)}}[y_1] \E_{\rlap{\llap{p}(y_2)}}[y_2]~~~(\because 共分散の公式) \\ &=\E_{\rlap{\llap{p}(y_1,y_2)}}[y_1 y_2]~~~\cmt{※2} \\ &=\int p(y_1,y_2)y_1 y_2 \,dy_1 dy_2 \\ &=\int \delta(y_2-y_1^2)p(y_1)y_1 y_2 \,dy_1 dy_2~~~\cmt{※3} \\ &=\int p(y_1)y_1\int \delta(y_2-y_1^2)y_2\,dy_2 dy_1 \\ &=\int p(y_1)y_1 y_1^2\,dy_1 \\ &= \int p(y_1)y_1^3\,dy_1 ~~~\cmt{※4}\\ &= 0 \end{align} \]
\( \begin{align} \cmt{※2}~~~&問題文で、p(y_1)\ は0を中心に対称としているので\ \E_{\rlap{\llap{p}(y_1)}}[y_1]=0 \end{align} \)
\( \begin{align} \cmt{※3}~~~&p(y_1,y_2)=p(y_2\mid y_1)p(y_1)=\delta(y_2-y_1^2)p(y_1) \end{align} \)
\( \begin{align} \cmt{※4}~~~&p(y_1)\ は\ 0\ を中心に対称としているので\ p(y_1)\ は偶関数である。\\ &また、y_1^3\ は奇関数なので、p(y_1)y_1^3\ は奇関数である。 \\ &よって、\int_{-\infty}^{\infty}p(y_1)y_1^3\,dy_1=0\ である。 \end{align} \)
\(\var[y_1]\ne 0,\var[y_2]\ne 0\) と仮定して、相関係数は \[ \begin{align} \rho(y_1,y_2) &= {\cov[y_1,y_2] \over (\var[y_1]\var[y_2])^{1/2}}~~~(\because 相関係数の定義) \\ &= 0 \end{align} \] となり、\(y_1\) と \(y_2\) は無相関である。
よって、\(y_1\) と \(y_2\) は、独立ではないが無相関である。なので無相関ならば独立であるとは言えない。すなわち、無相関は独立性の十分条件ではない。

prml演習12.29の解答.txt · 最終更新: 2018/01/09 14:13 by ma

ページ用ツール