Machine Learning

两分类-软分类-概率生成模型-高斯判别分析 GDA

生成模型中，我们对联合概率分布进行建模，然后采用 MAP 来获得参数的最佳值。两分类的情况，我们采用的假设：

1. $y\sim Bernoulli(\varphi )$
2. $x|y=1\sim \mathcal{N}({\mu }_1,\Sigma )$
3. $x|y=0\sim \mathcal{N}({\mu }_0,\Sigma )$

那么独立全同的数据集最大后验概率可以表示为： $$\begin{array}{r}{\mathrm{argmax}}_{\varphi ,{\mu }_0,{\mu }_1,\Sigma }\log p(X|Y)p(Y)={\mathrm{argmax}}_{\varphi ,{\mu }_0,{\mu }_1,\Sigma }\sum _{i=1}^N(\log p(x_i|y_i)+\log p(y_i))\\ ={\mathrm{argmax}}_{\varphi ,{\mu }_0,{\mu }_1,\Sigma }\sum _{i=1}^N((1-y_i)\log \mathcal{N}({\mu }_0,\Sigma )+y_i\log \mathcal{N}({\mu }_1,\Sigma )+y_i\log \varphi +(1-y_i)\log (1-\varphi ))\end{array}$$

• 首先对 $\varphi$ 进行求解，将式子对 $\varphi$ 求偏导： $$\begin{array}{r}\sum _{i=1}^N\frac{y_i}{\varphi }+\frac{y_i-1}{1-\varphi }=0\\ ⟹\varphi =\frac{\sum _{i=1}^N{y}_i}{N}=\frac{N_1}{N}\end{array}$$

• 然后求解 ${\mu }_1$： $$\begin{array}{rl}\widehat{{\mu }_1}& ={\mathrm{argmax}}_{{\mu }_1}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma )\\ & ={\mathrm{argmin}}_{{\mu }_1}\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\end{array}$$ 由于： $$\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)=\sum _{i=1}^N{y}_i{x}_i^T{\Sigma }^{-1}{x}_i-2y_i{\mu }_1^T{\Sigma }^{-1}{x}_i+y_i{\mu }_1^T{\Sigma }^{-1}{\mu }_1$$

  求微分左边乘以 $\Sigma$ 可以得到： $$\begin{array}{r}\sum _{i=1}^N-2y_i{\Sigma }^{-1}{x}_i+2y_i{\Sigma }^{-1}{\mu }_1=0\\ ⟹{\mu }_1=\frac{\sum _{i=1}^N{y}_i{x}_i}{\sum _{i=1}^N{y}_i}=\frac{\sum _{i=1}^N{y}_i{x}_i}{N_1}\end{array}$$

• 求解 ${\mu }_0$，由于正反例是对称的，所以： $${\mu }_0=\frac{\sum _{i=1}^N(1-y_i)x_i}{N_0}$$

• 最为困难的是求解 $\Sigma$，我们的模型假设对正反例采用相同的协方差矩阵，当然从上面的求解中我们可以看到，即使采用不同的矩阵也不会影响之前的三个参数。首先我们有： $$\begin{array}{rl}\sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )& =\sum _{i=1}^N\log (\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}})+(-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1})\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}NTrace(S{\Sigma }^{-1})\end{array}$$ 在这个表达式中，我们在标量上加入迹从而可以交换矩阵的顺序，对于包含绝对值和迹的表达式的导数，我们有： $$\begin{array}{rl}\frac{\partial }{\partial A}(|A|)& =|A|A^{-1}\\ \frac{\partial }{\partial A}Trace(AB)& =B^T\end{array}$$ 因此： $$\begin{array}{r}[\sum _{i=1}^N((1-y_i)\log \mathcal{N}({\mu }_0,\Sigma )+y_i\log \mathcal{N}({\mu }_1,\Sigma ){]}^{\prime }\\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}{N}_{1}Trace(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_{2}Trace(S_2{\Sigma }^{-1})\end{array}$$ 其中，$S_1,S_2$ 分别为两个类数据内部的协方差矩阵，于是： $$\begin{array}{r}N{\Sigma }^{-1}-N_1{S}_1^T{\Sigma }^{-2}-N_2{S}_2^T{\Sigma }^{-2}=0\\ ⟹\Sigma =\frac{N_1{S}_1+N_2{S}_2}{N}\end{array}$$ 这里应用了类协方差矩阵的对称性。

于是我们就利用最大后验的方法求得了我们模型假设里面的所有参数，根据模型，可以得到联合分布，也就可以得到用于推断的条件分布了。