prml演習14.17の解答
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン | |||
| prml演習14.17の解答 [2024/12/11 16:16] – [(ゲート関数が定数の場合)] masahito | prml演習14.17の解答 [2024/12/11 16:26] (現在) – [(ゲート関数が線形分類モデルの場合)] masahito | ||
|---|---|---|---|
| 行 108: | 行 108: | ||
| ==== (ゲート関数が線形分類モデルの場合) ==== | ==== (ゲート関数が線形分類モデルの場合) ==== | ||
| - | < | + | |
| - | <div class=" | + | |
| 2レベルの線形ロジスティックモデルのゲート関数を用いたHMEモデル | 2レベルの線形ロジスティックモデルのゲート関数を用いたHMEモデル | ||
| - | <div id=" | + | |
| + | {{: | ||
| + | |||
| + | <html> | ||
| + | <div> | ||
| \(\pi_1,\ \pi_2\) は線形ロジスティックモデル、\(\rho_1, | \(\pi_1,\ \pi_2\) は線形ロジスティックモデル、\(\rho_1, | ||
| \[ | \[ | ||
| 行 121: | 行 124: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| である。混合分布は | である。混合分布は | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \begin{align} | \begin{align} | ||
| 行 131: | 行 140: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| となる。 | となる。 | ||
| - | <br/> | ||
| 1レベルの線形ソフトマックスモデルのゲート関数を用いたHMEモデル | 1レベルの線形ソフトマックスモデルのゲート関数を用いたHMEモデル | ||
| - | <div id=" | + | |
| + | {{: | ||
| + | |||
| + | <html> | ||
| + | <div> | ||
| \(\tau_1(\bx), | \(\tau_1(\bx), | ||
| \[ | \[ | ||
| \tau_k(\bx) = \frac{\exp\l(\bu_k^\T\bx\r)}{\sum_j\exp\l(\bu_j^\T\bx\r)} | \tau_k(\bx) = \frac{\exp\l(\bu_k^\T\bx\r)}{\sum_j\exp\l(\bu_j^\T\bx\r)} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| である。混合分布は | である。混合分布は | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \begin{align} | \begin{align} | ||
| 行 150: | 行 170: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| となる。 | となる。 | ||
| - | <br/> | + | |
| 上記2つのHMEモデルが等価であると仮定すると \((1) = (2)\) となる。 | 上記2つのHMEモデルが等価であると仮定すると \((1) = (2)\) となる。 | ||
| - | <br/> | + | |
| また \(p_1,\ p_2,\ p_3\) は独立で \(0\) でないので | また \(p_1,\ p_2,\ p_3\) は独立で \(0\) でないので | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \begin{align} | \begin{align} | ||
| 行 162: | 行 188: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| を得る。ここで \(\sigma\l(\bw^\T\bx\r)=W, | を得る。ここで \(\sigma\l(\bw^\T\bx\r)=W, | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \begin{align} | \begin{align} | ||
| 行 170: | 行 202: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| となる。これより | となる。これより | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \begin{align} | \begin{align} | ||
| 行 178: | 行 216: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| よって | よって | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \l(\begin{array}{ccc} | \l(\begin{array}{ccc} | ||
| 行 185: | 行 229: | ||
| \l(\begin{array}{c}U_1\\U_2\\U_3\end{array}\r) = \b{0} | \l(\begin{array}{c}U_1\\U_2\\U_3\end{array}\r) = \b{0} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| となる。左辺の係数行列の行列式は | となる。左辺の係数行列の行列式は | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \begin{align} | \begin{align} | ||
| 行 193: | 行 243: | ||
| \end{align} | \end{align} | ||
| \] | \] | ||
| + | </ | ||
| + | </ | ||
| + | |||
| なので係数行列は逆行列を持つ。この逆行列を左から掛けて | なので係数行列は逆行列を持つ。この逆行列を左から掛けて | ||
| + | |||
| + | < | ||
| + | <div> | ||
| \[ | \[ | ||
| \pmatrix{U_1\\U_2\\U_3}=\pmatrix{0\\0\\0} | \pmatrix{U_1\\U_2\\U_3}=\pmatrix{0\\0\\0} | ||
| \] | \] | ||
| - | を得る。これは \(U_1+U_2+U_3\ne 0\) と矛盾する。よって上記の2つのHMEモデルは等価ではない。よって | ||
| - | <br/> | ||
| - | 2レベルの線形ロジスティックモデルのゲート関数を用いたHMEモデルに等価な< | ||
| - | 1レベルの線形ソフトマックスモデルのゲート関数を用いたHMEモデルが必ず存在するとはいえない。 | ||
| - | |||
| </ | </ | ||
| </ | </ | ||
| + | |||
| + | を得る。これは \(U_1+U_2+U_3\ne 0\) と矛盾する。よって上記の2つのHMEモデルは等価ではない。よって \\ | ||
| + | 2レベルの線形ロジスティックモデルのゲート関数を用いたHMEモデルに等価な \\ | ||
| + | 1レベルの線形ソフトマックスモデルのゲート関数を用いたHMEモデルが必ず存在するとはいえない。 | ||
| + | |||
prml演習14.17の解答.txt · 最終更新: 2024/12/11 16:26 by masahito