ガウス分布の_mu_sigma_についての微分
ガウス分布の微分 \(\mu,\Sigma\)について微分
\[
\newcommand\l{\left}
\newcommand\r{\right}
\newcommand\cmt[1]{\class{Cmt}{\mbox{#1}}}
\newcommand\b[1]{\class{Bold}{\mathrm{#1}}}
\newcommand\bmu{\b{\mu}}
\newcommand\bSigma{\b{\Sigma}}
\newcommand\bSigmai{\bSigma^{-1}}
\newcommand\bA{\b{A}}
\newcommand\bw{\b{w}}
\newcommand\bx{\b{x}}
\newcommand\bI{\b{I}}
\newcommand\bJ{\b{J}}
\newcommand\N{{\cal N}}
\newcommand\T{\mathrm T}
\newcommand\Tr{\operatorname{Tr}}
\newcommand\pdiff[2]{\frac{\partial #1}{\partial #2}}
\newcommand\Mdistance{(\bx-\bmu)^\T\bSigmai(\bx-\bmu)}
\newcommand\Gexp{\exp\l\{-{1\over2}\Mdistance\r\}}
\]
ガウス分布
(B.37)よりD次元のガウス分布は
\[
\N(\bx|\bmu,\bSigma)={1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp
\]
である。
\(\bmu\) について微分
ガウス分布の\(\bmu\)についての微分
\[
\small
\begin{align}
\pdiff{\N}{\bmu}
&=\pdiff{}{\bmu}{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp \\
&={1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp
\pdiff{}{\bmu}\l\{-{1\over2}\Mdistance\r\}~~~\cmt{※1} \\
&={1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp\bSigmai(\bx-\bmu)~~~\cmt{※2} \\
&=\N(\bx|\bmu,\bSigma)\bSigmai(\bx-\bmu) \\
\end{align}
\]
\(
\begin{align}
\cmt{※1}~~~&成分計算より、スカラー関数の合成関数をベクトルで微分するときはチェーンルールが使える。\\
\end{align}
\)
\(
\begin{align}
\cmt{※2}~~~
&\pdiff{}{\bmu}\Mdistance \\
&=\pdiff{}{\bmu}(\bx^\T\bSigmai\bx-2\bmu^\T\bSigmai\bx+\bmu^\T\bSigmai\bmu) \\
&=-2\bSigmai\bx+2\bSigmai\bmu~~~\cmt{※2.1, ※2.2} \\
&=-2\bSigmai(\bx-\bmu) \\
\end{align}
\)
\(
\begin{align}
\cmt{※2.1}~~~
&\pdiff{}{\bmu}\bmu^\T\bSigmai\bx=\bSigmai\bx~~~(\because\ (C.19)) \\
\end{align}
\)
\(
\begin{align}
\cmt{※2.2}~~~
&\pdiff{}{\bmu}\bmu^\T\bSigmai\bmu=\pdiff{}{\bmu}\Tr(\bmu^\T\bSigmai\bmu)~~~(\because\ スカラーの\Tr) \\
&=\l\{\pdiff{}{\bmu^\T}\Tr(\bmu^\T\bSigmai\bmu)\r\}^\T~~~(\because 成分計算より) \\
&=\l[\bmu^\T\l\{\bSigmai+(\bSigmai)^\T\r\}\r]^\T~~~(\because\ (C.27)) \\
&=2\bSigmai\bmu~~~(\because\ \bSigmaiは対称)
\end{align}
\)
\(\bSigma\) について微分
ガウス分布の\(\bSigma\)についての微分
\[
\small
\begin{align}
\pdiff{\N}{\bSigma}
&=\pdiff{}{\bSigma}{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp \\
&={1\over(2\pi)^{D/2}} \l(\pdiff{}{\bSigma}{1\over|\bSigma|^{1/2}}\r)\Gexp \\
&~~~~+{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\pdiff{}{\bSigma}\Gexp~~~\cmt{※3} \\
&={1\over(2\pi)^{D/2}}\l(-{1\over2}\r)|\bSigma|^{-1/2}\bSigmai\Gexp~~~\cmt{※4} \\
&~~~~+{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}{1\over2}\Gexp
\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai~~~\cmt{※5} \\
&=-{1\over2}\bSigmai\N(\bx|\bmu,\bSigma)
+{1\over2}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\N(\bx|\bmu,\bSigma) \\
&=-{1\over2}\l\{\bSigmai-\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\r\}
\N(\bx|\bmu,\bSigma) \\
\end{align}
\]
\(
\begin{align}
\cmt{※3}~~~&成分計算より、スカラー関数の積を行列で微分するときは積の微分法則が使える。\\
\end{align}
\)
\(
\begin{align}
\cmt{※4}~~~
&\pdiff{}{\Sigma_{ij}}\ln|\bSigma|^{-1/2}={\pdiff{}{\Sigma_{ij}}|\bSigma|^{-1/2}\over|\bSigma|^{-1/2}} \\
&また \\
&\pdiff{}{\Sigma_{ij}}\ln|\bSigma|^{-1/2}=-{1\over2}\pdiff{}{\Sigma_{ij}}\ln|\bSigma| \\
&~~~~=-{1\over2}\Tr(\bSigmai\pdiff{\bSigma}{\Sigma_{ij}})~~~(\because\ (C.22)) \\
&~~~~=-{1\over2}\Tr(\bSigmai\bJ^{ij})~~~(\bJ^{ij}はシングルエントリ行列) \\
&~~~~=-{1\over2}(\bSigmai)_{ji}~~~\cmt{※4.1} \\
&~~~~=-{1\over2}(\bSigmai)_{ij}~~~(\because\ \bSigmaiは対称) \\
&よって \\
&{\pdiff{}{\Sigma_{ij}}|\bSigma|^{-1/2}\over|\bSigma|^{-1/2}}
=-{1\over2}(\bSigmai)_{ij} \\
&\therefore\ \pdiff{}{\Sigma_{ij}}|\bSigma|^{-1/2}=-{1\over2}|\bSigma|^{-1/2}(\bSigmai)_{ij} \\
&\therefore\ \pdiff{}{\bSigma}|\bSigma|^{-1/2}=-{1\over2}|\bSigma|^{-1/2}\bSigmai \\
\end{align}
\)
\(
\begin{align}
\cmt{※4.1}~~~
&\Tr(\bA\bJ^{12})=\Tr\l( \pmatrix{a_{11}&a_{12}\\a_{21}&a_{22}}\pmatrix{0&1\\0&0}\r) \\
&~~~~=\Tr\pmatrix{0&a_{11}\\0&a_{21}}=a_{21} \\
&\therefore\ \Tr(\bA\bJ^{ij}) = \bA_{ji}
\end{align}
\)
\(
\begin{align}
\cmt{※5}~~~
&\pdiff{}{\bSigma}\Gexp \\
&=\Gexp\pdiff{}{\bSigma}\l\{-{1\over2}\Mdistance \r\}~~~\cmt{※5.1} \\
&={1\over2}\Gexp\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai~~~\cmt{※5.2} \\
\end{align}
\)
\(
\begin{align}
\cmt{※5.1}~~~
&成分計算より、スカラー関数の合成関数を行列で微分するときはチェーンルールが使える
\end{align}
\)
\(
\begin{align}
\cmt{※5.2}~~~
&\pdiff{}{\Sigma_{ij}}\Mdistance=\pdiff{}{\Sigma_{ij}}\Tr(\Mdistance)~~~(\because\ スカラーの\Tr) \\
&~~=\pdiff{}{\Sigma_{ij}}\Tr(\bSigmai(\bx-\bmu)(\bx-\bmu)^\T)~~~(\because\ (C.9)) \\
&~~=\Tr\l(\pdiff{}{\Sigma_{ij}}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\r)~~~(\because\ 成分計算より。\Trとスカラー微分は交換可) \\
&~~=\Tr\l(-\bSigmai\pdiff{\bSigma}{\Sigma_{ij}}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\r)~~~(\because\ (C.21)) \\
&~~=-\Tr\l(\bSigmai\bJ^{ij}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\r)~~~(\bJ^{ij}はシングルエントリ行列) \\
&~~=-\Tr\l(\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\bJ^{ij}\r)~~~(\because\ (C.9)) \\
&~~=-\l\{\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\r\}_{ji}~~~\cmt{※4.1} \\
&~~=-\l\{\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\r\}_{ij}~~~(\because\ \bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmaiは対称) \\
&\therefore\ \pdiff{}{\bSigma}\Mdistance=-\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai \\
\end{align}
\)
ガウス分布の_mu_sigma_についての微分.txt · 最終更新: 2018/03/14 21:09 by ma