高斯分布

• 一维情况 MLE
• 多维情况

一维情况 MLE

高斯分布在机器学习中占有举足轻重的作用。在 MLE 方法中：

$$\theta =(\mu ,\Sigma )=(\mu ,{\sigma }^2),{\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log p(X|\theta )\underset{iid}{=}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i|\theta )$$ 一般地，高斯分布的概率密度函数PDF写为：

$$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$ 带入 MLE 中我们考虑一维的情况

$$\log p(X|\theta )=\sum _{i=1}^N\log p(x_i|\theta )=\sum _{i=1}^N\log \frac{1}{\sqrt{2\pi }\sigma }\exp (-(x_i-\mu {)}^2/2{\sigma }^2)$$ 首先对 $\mu$ 的极值可以得到 ： $${\mu }_{MLE}=\underset{\mu }{\mathrm{argmax}}\log p(X|\theta )=\underset{\mu }{\mathrm{argmax}}\sum _{i=1}^N(x_i-\mu {)}^2$$ 于是： $$\frac{\partial }{\partial \mu }\sum _{i=1}^N(x_i-\mu {)}^2=0⟶{\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i$$ 其次对 $\theta$ 中的另一个参数 $\sigma$ ，有： $$\begin{array}{rl}{\sigma }_{MLE}=\underset{\sigma }{\mathrm{argmax}}\log p(X|\theta )& =\underset{\sigma }{\mathrm{argmax}}\sum _{i=1}^N[-\log \sigma -\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]\\ & =\underset{\sigma }{\mathrm{argmin}}\sum _{i=1}^N[\log \sigma +\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]\end{array}$$ 于是： $$\frac{\partial }{\partial \sigma }\sum _{i=1}^N[\log \sigma +\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]=0⟶{\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2$$ 值得注意的是，上面的推导中，首先对 $\mu$ 求 MLE， 然后利用这个结果求 ${\sigma }_{MLE}$ ，因此可以预期的是对数据集求期望时 ${\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}]$ 是无偏差的： $${\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N}\sum _{i=1}^N{\mathbb{E}}_{\mathcal{D}}[x_i]=\mu$$ 但是当对 ${\sigma }_{MLE}$ 求 期望的时候由于使用了单个数据集的 ${\mu }_{MLE}$，因此对所有数据集求期望的时候我们会发现 ${\sigma }_{MLE}$ 是 有偏的：

$$\begin{array}{rl}{\mathbb{E}}_{\mathcal{D}}[{\sigma }_{MLE}^2]& ={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2)\\ & ={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2+{\mu }^2-{\mu }_{MLE}^2]\\ & ={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2]-{\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2-{\mu }^2]={\sigma }^2-({\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2]-{\mu }^2)\\ & ={\sigma }^2-({\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2]-{\mathbb{E}}_{\mathcal{D}}^2[{\mu }_{MLE}])={\sigma }^2-Var[{\mu }_{MLE}]\\ & ={\sigma }^2-Var[\frac{1}{N}\sum _{i=1}^N{x}_i]={\sigma }^2-\frac{1}{N^2}\sum _{i=1}^{N}Var[x_i]=\frac{N-1}{N}{\sigma }^2\end{array}$$ 所以： $${\hat{\sigma }}^2=\frac{1}{N-1}\sum _{i=1}^N(x_i-\mu {)}^2$$

多维情况

多维高斯分布表达式为： $$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$ 其中 $x,\mu \in {\mathbb{R}}^p,\Sigma \in {\mathbb{R}}^{p\times p}$ ，$\Sigma$ 为协方差矩阵，一般而言也是半正定矩阵。这里我们只考虑正定矩阵。首先我们处理指数上的数字，指数上的数字可以记为 $x$ 和 $\mu$ 之间的马氏距离。对于对称的协方差矩阵可进行特征值分解，$\Sigma =U\Lambda U^T=(u_1,u_2,\cdots ,u_p)diag({\lambda }_i)(u_1,u_2,\cdots ,u_p{)}^T=\sum _{i=1}^p{u}_i{\lambda }_i{u}_i^T$ ，于是：

$${\Sigma }^{-1}=\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T$$

$$\Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=\sum _{i=1}^p(x-\mu {)}^T{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu )=\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i}$$

我们注意到 $y_i$ 是 $x-\mu$ 在特征向量 $u_i$ 上的投影长度，因此上式子就是 $\Delta$ 取不同值时的同心椭圆。

下面我们看多维高斯模型在实际应用时的两个问题

1. 参数 $\Sigma ,\mu$ 的自由度为 $O(p^2)$ 对于维度很高的数据其自由度太高。解决方案：高自由度的来源是 $\Sigma$ 有 $\frac{p(p+1)}{2}$ 个自由参数，可以假设其是对角矩阵，甚至在各向同性假设中假设其对角线上的元素都相同。前一种的算法有 Factor Analysis，后一种有概率 PCA(p-PCA) 。

2. 第二个问题是单个高斯分布是单峰的，对有多个峰的数据分布不能得到好的结果。解决方案：高斯混合GMM 模型。

下面对多维高斯分布的常用定理进行介绍。

我们记 $x=(x_1,x_2,\cdots ,x_p{)}^T=(x_{a,m\times 1},x_{b,n\times 1}{)}^T,\mu =({\mu }_{a,m\times 1},{\mu }_{b,n\times 1}),\Sigma =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)$，已知 $x\sim \mathcal{N}(\mu ,\Sigma )$。

首先是一个高斯分布的定理：

定理：已知 $x\sim \mathcal{N}(\mu ,\Sigma ),y\sim Ax+b$，那么 $y\sim \mathcal{N}(A\mu +b,A\Sigma A^T)$。

证明：$\mathbb{E}[y]=\mathbb{E}[Ax+b]=A\mathbb{E}[x]+b=A\mu +b$，$Var[y]=Var[Ax+b]=Var[Ax]=A\cdot Var[x]\cdot A^T$。

下面利用这个定理得到 $p(x_a),p(x_b),p(x_a|x_b),p(x_b|x_a)$ 这四个量。

1. $x_a=\left(\begin{array}{cc}{\mathbb{I}}_{m\times m}& {\mathbb{O}}_{m\times n})\end{array}\right)\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)$，代入定理中得到： $$\begin{gathered} \mathbb{E}[x_a]=\left(\begin{array}{cc}\mathbb{I}& \mathbb{O}\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_a \\ Var[x_a]=\left(\begin{array}{cc}\mathbb{I}& \mathbb{O}\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}\mathbb{I}\\ \mathbb{O}\end{array}\right)={\Sigma }_{aa} \end{gathered}$$ 所以 $x_a\sim \mathcal{N}({\mu }_a,{\Sigma }_{aa})$。

2. 同样的，$x_b\sim \mathcal{N}({\mu }_b,{\Sigma }_{bb})$。

3. 对于两个条件概率，我们引入三个量： $$\begin{gathered} x_{b\cdot a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a \\ {\mu }_{b\cdot a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a \\ {\Sigma }_{bb\cdot a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab} \end{gathered}$$ 特别的，最后一个式子叫做 ${\Sigma }_{bb}$ 的 Schur Complementary。可以看到： $$x_{b\cdot a}=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)$$ 所以： $$\begin{gathered} \mathbb{E}[x_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_{b\cdot a} \\ Var[x_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ {\mathbb{I}}_{n\times n}\end{array}\right)={\Sigma }_{bb\cdot a} \end{gathered}$$ 利用这三个量可以得到 $x_b=x_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a$。因此： $$\mathbb{E}[x_b|x_a]={\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a$$

   $$Var[x_b|x_a]={\Sigma }_{bb\cdot a}$$

   这里同样用到了定理。

4. 同样： $$\begin{gathered} x_{a\cdot b}=x_a-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{x}_b \\ {\mu }_{a\cdot b}={\mu }_a-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{\mu }_b \\ {\Sigma }_{aa\cdot b}={\Sigma }_{aa}-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{\Sigma }_{ba} \end{gathered}$$ 所以： $$\mathbb{E}[x_a|x_b]={\mu }_{a\cdot b}+{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{x}_b$$

   $$Var[x_a|x_b]={\Sigma }_{aa\cdot b}$$

下面利用上边四个量，求解线性模型：

已知：$p(x)=\mathcal{N}(\mu ,{\Lambda }^{-1}),p(y|x)=\mathcal{N}(Ax+b,L^{-1})$，求解：$p(y),p(x|y)$。

解：令 $y=Ax+b+ϵ,ϵ\sim \mathcal{N}(0,L^{-1})$，所以 $\mathbb{E}[y]=\mathbb{E}[Ax+b+ϵ]=A\mu +b$，$Var[y]=A{\Lambda }^{-1}{A}^T+L^{-1}$，因此： $$>p(y)=\mathcal{N}(A\mu +b,L^{-1}+A{\Lambda }^{-1}{A}^T)>$$ 引入 $z=\left(\begin{array}{c}x\\ y\end{array}\right)$，我们可以得到 $Cov[x,y]=\mathbb{E}[(x-\mathbb{E}[x])(y-\mathbb{E}[y]{)}^T]$。对于这个协方差可以直接计算： $$>\begin{array}{rl}>Cov(x,y)& =\mathbb{E}[(x-\mu )(Ax-A\mu +ϵ{)}^T]=\mathbb{E}[(x-\mu )(x-\mu {)}^T{A}^T]=Var[x]A^T={\Lambda }^{-1}{A}^T>\end{array}>$$ 注意到协方差矩阵的对称性，所以 $p(z)=\mathcal{N}\left(\begin{array}{c}\mu \\ A\mu +b\end{array}\right),\left(\begin{array}{cc}{\Lambda }^{-1}& {\Lambda }^{-1}{A}^T\\ A{\Lambda }^{-1}& L^{-1}+A{\Lambda }^{-1}{A}^T\end{array}\right))$。根据之前的公式，我们可以得到： $$>\mathbb{E}[x|y]=\mu +{\Lambda }^{-1}{A}^T(L^{-1}+A{\Lambda }^{-1}{A}^T{)}^{-1}(y-A\mu -b)>$$

$$>Var[x|y]={\Lambda }^{-1}-{\Lambda }^{-1}{A}^T(L^{-1}+A{\Lambda }^{-1}{A}^T{)}^{-1}A{\Lambda }^{-1}>$$