ガウス分布の微分 \(\mu,\Sigma\)について微分

\[ \newcommand\l{\left} \newcommand\r{\right} \newcommand\cmt[1]{\class{Cmt}{\mbox{#1}}} \newcommand\b[1]{\class{Bold}{\mathrm{#1}}} \newcommand\bmu{\b{\mu}} \newcommand\bSigma{\b{\Sigma}} \newcommand\bSigmai{\bSigma^{-1}} \newcommand\bA{\b{A}} \newcommand\bw{\b{w}} \newcommand\bx{\b{x}} \newcommand\bI{\b{I}} \newcommand\bJ{\b{J}} \newcommand\N{{\cal N}} \newcommand\T{\mathrm T} \newcommand\Tr{\operatorname{Tr}} \newcommand\pdiff[2]{\frac{\partial #1}{\partial #2}} \newcommand\Mdistance{(\bx-\bmu)^\T\bSigmai(\bx-\bmu)} \newcommand\Gexp{\exp\l\{-{1\over2}\Mdistance\r\}} \]

ガウス分布

(B.37)よりD次元のガウス分布は \[ \N(\bx|\bmu,\bSigma)={1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp \] である。

\(\bmu\) について微分

ガウス分布の\(\bmu\)についての微分 \[ \small \begin{align} \pdiff{\N}{\bmu} &=\pdiff{}{\bmu}{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp \\ &={1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp \pdiff{}{\bmu}\l\{-{1\over2}\Mdistance\r\}~~~\cmt{※1} \\ &={1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp\bSigmai(\bx-\bmu)~~~\cmt{※2} \\ &=\N(\bx|\bmu,\bSigma)\bSigmai(\bx-\bmu) \\ \end{align} \]

\( \begin{align} \cmt{※1}~~~&成分計算より、スカラー関数の合成関数をベクトルで微分するときはチェーンルールが使える。\\ \end{align} \)

\( \begin{align} \cmt{※2}~~~ &\pdiff{}{\bmu}\Mdistance \\ &=\pdiff{}{\bmu}(\bx^\T\bSigmai\bx-2\bmu^\T\bSigmai\bx+\bmu^\T\bSigmai\bmu) \\ &=-2\bSigmai\bx+2\bSigmai\bmu~~~\cmt{※2.1, ※2.2} \\ &=-2\bSigmai(\bx-\bmu) \\ \end{align} \)

\( \begin{align} \cmt{※2.1}~~~ &\pdiff{}{\bmu}\bmu^\T\bSigmai\bx=\bSigmai\bx~~~(\because\ (C.19)) \\ \end{align} \)

\( \begin{align} \cmt{※2.2}~~~ &\pdiff{}{\bmu}\bmu^\T\bSigmai\bmu=\pdiff{}{\bmu}\Tr(\bmu^\T\bSigmai\bmu)~~~(\because\ スカラーの\Tr) \\ &=\l\{\pdiff{}{\bmu^\T}\Tr(\bmu^\T\bSigmai\bmu)\r\}^\T~~~(\because 成分計算より) \\ &=\l[\bmu^\T\l\{\bSigmai+(\bSigmai)^\T\r\}\r]^\T~~~(\because\ (C.27)) \\ &=2\bSigmai\bmu~~~(\because\ \bSigmaiは対称) \end{align} \)

\(\bSigma\) について微分

ガウス分布の\(\bSigma\)についての微分 \[ \small \begin{align} \pdiff{\N}{\bSigma} &=\pdiff{}{\bSigma}{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\Gexp \\ &={1\over(2\pi)^{D/2}} \l(\pdiff{}{\bSigma}{1\over|\bSigma|^{1/2}}\r)\Gexp \\ &~~~~+{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}\pdiff{}{\bSigma}\Gexp~~~\cmt{※3} \\ &={1\over(2\pi)^{D/2}}\l(-{1\over2}\r)|\bSigma|^{-1/2}\bSigmai\Gexp~~~\cmt{※4} \\ &~~~~+{1\over(2\pi)^{D/2}}{1\over|\bSigma|^{1/2}}{1\over2}\Gexp \bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai~~~\cmt{※5} \\ &=-{1\over2}\bSigmai\N(\bx|\bmu,\bSigma) +{1\over2}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\N(\bx|\bmu,\bSigma) \\ &=-{1\over2}\l\{\bSigmai-\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\r\} \N(\bx|\bmu,\bSigma) \\ \end{align} \]

\( \begin{align} \cmt{※3}~~~&成分計算より、スカラー関数の積を行列で微分するときは積の微分法則が使える。\\ \end{align} \)

\( \begin{align} \cmt{※4}~~~ &\pdiff{}{\Sigma_{ij}}\ln|\bSigma|^{-1/2}={\pdiff{}{\Sigma_{ij}}|\bSigma|^{-1/2}\over|\bSigma|^{-1/2}} \\ &また \\ &\pdiff{}{\Sigma_{ij}}\ln|\bSigma|^{-1/2}=-{1\over2}\pdiff{}{\Sigma_{ij}}\ln|\bSigma| \\ &~~~~=-{1\over2}\Tr(\bSigmai\pdiff{\bSigma}{\Sigma_{ij}})~~~(\because\ (C.22)) \\ &~~~~=-{1\over2}\Tr(\bSigmai\bJ^{ij})~~~(\bJ^{ij}はシングルエントリ行列) \\ &~~~~=-{1\over2}(\bSigmai)_{ji}~~~\cmt{※4.1} \\ &~~~~=-{1\over2}(\bSigmai)_{ij}~~~(\because\ \bSigmaiは対称) \\ &よって \\ &{\pdiff{}{\Sigma_{ij}}|\bSigma|^{-1/2}\over|\bSigma|^{-1/2}} =-{1\over2}(\bSigmai)_{ij} \\ &\therefore\ \pdiff{}{\Sigma_{ij}}|\bSigma|^{-1/2}=-{1\over2}|\bSigma|^{-1/2}(\bSigmai)_{ij} \\ &\therefore\ \pdiff{}{\bSigma}|\bSigma|^{-1/2}=-{1\over2}|\bSigma|^{-1/2}\bSigmai \\ \end{align} \)

\( \begin{align} \cmt{※4.1}~~~ &\Tr(\bA\bJ^{12})=\Tr\l( \pmatrix{a_{11}&a_{12}\\a_{21}&a_{22}}\pmatrix{0&1\\0&0}\r) \\ &~~~~=\Tr\pmatrix{0&a_{11}\\0&a_{21}}=a_{21} \\ &\therefore\ \Tr(\bA\bJ^{ij}) = \bA_{ji} \end{align} \)

\( \begin{align} \cmt{※5}~~~ &\pdiff{}{\bSigma}\Gexp \\ &=\Gexp\pdiff{}{\bSigma}\l\{-{1\over2}\Mdistance \r\}~~~\cmt{※5.1} \\ &={1\over2}\Gexp\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai~~~\cmt{※5.2} \\ \end{align} \)

\( \begin{align} \cmt{※5.1}~~~ &成分計算より、スカラー関数の合成関数を行列で微分するときはチェーンルールが使える \end{align} \)

\( \begin{align} \cmt{※5.2}~~~ &\pdiff{}{\Sigma_{ij}}\Mdistance=\pdiff{}{\Sigma_{ij}}\Tr(\Mdistance)~~~(\because\ スカラーの\Tr) \\ &~~=\pdiff{}{\Sigma_{ij}}\Tr(\bSigmai(\bx-\bmu)(\bx-\bmu)^\T)~~~(\because\ (C.9)) \\ &~~=\Tr\l(\pdiff{}{\Sigma_{ij}}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\r)~~~(\because\ 成分計算より。\Trとスカラー微分は交換可) \\ &~~=\Tr\l(-\bSigmai\pdiff{\bSigma}{\Sigma_{ij}}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\r)~~~(\because\ (C.21)) \\ &~~=-\Tr\l(\bSigmai\bJ^{ij}\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\r)~~~(\bJ^{ij}はシングルエントリ行列) \\ &~~=-\Tr\l(\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\bJ^{ij}\r)~~~(\because\ (C.9)) \\ &~~=-\l\{\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\r\}_{ji}~~~\cmt{※4.1} \\ &~~=-\l\{\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai\r\}_{ij}~~~(\because\ \bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmaiは対称) \\ &\therefore\ \pdiff{}{\bSigma}\Mdistance=-\bSigmai(\bx-\bmu)(\bx-\bmu)^\T\bSigmai \\ \end{align} \)

ゆっくり PRML していってね

サイドバー

目次

ガウス分布の微分 \(\mu,\Sigma\)について微分