\[
\leqalignno{
&KL(p\|q) = -\int p(\mathbf{Z}) \left[\sum_{i=1}^M \ln q_i(Z_i)\right] \,d\mathbf{Z} + C &(10.16)
}
\]
\(q_j\) についての制約条件は
\[
\leqalignno{
&\int q_j\,dZ_j = 1
}
\]
なので、KLの極値を求めるためのラグランジュ関数は
\[
\leqalignno{
&L = KL(p\|q) + \lambda\left(\int q_j\,dZ_j-1\right)
}
\]
となる。
ラグランジ乗数法で \(q_j\) を求めようとすると、停留条件 (E.3) より
\[
\leqalignno{
&\frac{\partial L}{\partial q_j} = \frac{\partial KL}{\partial q_j} +
\lambda \frac{\partial}{\partial q_j} \int q_j \, dZ_j = 0 &(1) \\
&\frac{\partial L}{\partial \lambda} = \int q_j \, dZ_j - 1 = 0 &(2)
}
\]
となるが (1) については \(\frac{\partial}{\partial q_j}\int q_j\,dZ_j\) をこれ以上
変形することができず \(q_j\) について解くことができない。なので変分法で \(q_j\) を求める。
ここで、
\[
\leqalignno{
L &= KL(p\|q) + \lambda\left(\int q_j\,dZ_j - 1 \right) \\
&= - \int p(\mathbf{Z})\left[\sum_{i=1}^M \ln q_i \right]\,d\mathbf{Z} + C
+ \lambda \left(\int q_j\,dZ_j - 1 \right) \\
&= - \int \left[\int p(\mathbf{Z})\left[\sum_{i=1}^M \ln q_i \right]\prod_{i \ne j}\,dZ_i \right]\,dZ_j
+ \lambda \int q_j\, dZ_j + (c + \lambda) \\
&= \int\left[-\int p(\mathbf{Z})\left[\sum_{i=1}^M\ln q_i\right]\prod_{i\ne j}\,dZ_i
+ \lambda q_j + (c+\lambda)\delta(Z_j)\right]\,dZ_j
}
\]
である。 L は \(q_j\) の汎関数になっている。なので、 L の停留条件はオイラーラグランジュ方程式 (D.8) で与えられる。
\[
\leqalignno{
&-\int p(\mathbf{Z})\frac{1}{q_j}\prod_{i\ne j}\,dZ_j + \lambda = 0~~~\mbox{※3} \\
&\therefore -\frac{1}{q_j}\int p(\mathbf{Z})\prod_{i\ne j}\,dZ_j + \lambda = 0 \\
&\therefore \lambda q_j = \int p(\mathbf{Z})\prod_{i\ne j}\,dZ_j = p(Z_j)~~~\mbox{※4} &(3)
}
\]
(3)の両辺を \(Z_j\) で周辺化して (2) を代入する
\[
\leqalignno{
&\lambda\int q_j\,dZ_j = \int p(Z_j)\,dZ_j \\
&\therefore \lambda = 1
}
\]
(3) に戻して
\[
\leqalignno{
&q_j = p(Z_j)
}
\]
を得る。