\[ \leqalignno{ &KL(p\|q) = -\int p(\mathbf{Z}) \left[\sum_{i=1}^M \ln q_i(Z_i)\right] \,d\mathbf{Z} + C &(10.16) } \] \(q_j\) についての制約条件は \[ \leqalignno{ &\int q_j\,dZ_j = 1 } \] なので、KLの極値※1を求めるためのラグランジュ関数は \[ \leqalignno{ &L = KL(p\|q) + \lambda\left(\int q_j\,dZ_j-1\right) } \] となる。 ラグランジ乗数法で \(q_j\) を求めようとすると、停留条件 (E.3) より \[ \leqalignno{ &\frac{\partial L}{\partial q_j} = \frac{\partial KL}{\partial q_j} + \lambda \frac{\partial}{\partial q_j} \int q_j \, dZ_j = 0 &(1) \\ &\frac{\partial L}{\partial \lambda} = \int q_j \, dZ_j - 1 = 0 &(2) } \] となるが (1) については \(\frac{\partial}{\partial q_j}\int q_j\,dZ_j\) ※2をこれ以上 変形することができず \(q_j\) について解くことができない。なので変分法で \(q_j\) を求める。 ここで、 \[ \leqalignno{ L &= KL(p\|q) + \lambda\left(\int q_j\,dZ_j - 1 \right) \\ &= - \int p(\mathbf{Z})\left[\sum_{i=1}^M \ln q_i \right]\,d\mathbf{Z} + C + \lambda \left(\int q_j\,dZ_j - 1 \right) \\ &= - \int \left[\int p(\mathbf{Z})\left[\sum_{i=1}^M \ln q_i \right]\prod_{i \ne j}\,dZ_i \right]\,dZ_j + \lambda \int q_j\, dZ_j + (c + \lambda) \\ &= \int\left[-\int p(\mathbf{Z})\left[\sum_{i=1}^M\ln q_i\right]\prod_{i\ne j}\,dZ_i + \lambda q_j + (c+\lambda)\delta(Z_j)\right]\,dZ_j } \] である。 L は \(q_j\) の汎関数になっている。なので、 L の停留条件はオイラーラグランジュ方程式 (D.8) で与えられる。 \[ \leqalignno{ &-\int p(\mathbf{Z})\frac{1}{q_j}\prod_{i\ne j}\,dZ_j + \lambda = 0~~~\mbox{※3} \\ &\therefore -\frac{1}{q_j}\int p(\mathbf{Z})\prod_{i\ne j}\,dZ_j + \lambda = 0 \\ &\therefore \lambda q_j = \int p(\mathbf{Z})\prod_{i\ne j}\,dZ_j = p(Z_j)~~~\mbox{※4} &(3) } \] (3)の両辺を \(Z_j\) で周辺化して (2) を代入する \[ \leqalignno{ &\lambda\int q_j\,dZ_j = \int p(Z_j)\,dZ_j \\ &\therefore \lambda = 1 } \] (3) に戻して \[ \leqalignno{ &q_j = p(Z_j) } \] を得る。