Machine Learning

两分类-硬分类-线性判别分析 LDA

在 LDA 中，我们的基本想法是选定一个方向，将试验样本顺着这个方向投影，投影后的数据需要满足两个条件，从而可以更好地分类：

1. 相同类内部的试验样本距离接近。
2. 不同类别之间的距离较大。

首先是投影，我们假定原来的数据是向量 $x$，那么顺着 $w$ 方向的投影就是标量： $$z=w^T\cdot x(=|w|\cdot |x|\cos \theta )$$ 对第一点，相同类内部的样本更为接近，我们假设属于两类的试验样本数量分别是 $N_1$和 $N_2$，那么我们采用方差矩阵来表征每一个类内的总体分布，这里我们使用了协方差的定义，用 $S$ 表示原数据的协方差： $$\begin{array}{rl}{C}_1:Va{r}_z[C_1]& =\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_{c1}})(z_i-\overline{z_{c1}}{)}^T\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T\\ & =w^T\frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-\overline{x_{c1}})(x_i-\overline{x_{c1}}{)}^{T}w\\ & =w^T{S}_{1}w\\ C_2:Va{r}_z[C_2]& =\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_{c2}})(z_i-\overline{z_{c2}}{)}^T\\ & =w^T{S}_{2}w\end{array}$$ 所以类内距离可以记为： $$\begin{array}{r}Va{r}_z[C_1]+Va{r}_z[C_2]=w^T(S_1+S_2)w\end{array}$$ 对于第二点，我们可以用两类的均值表示这个距离： $$\begin{array}{rl}(\overline{z_{c1}}-\overline{z_{c2}}{)}^2& =(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2\\ & =(w^T(\overline{x_{c1}}-\overline{x_{c2}}){)}^2\\ & =w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\end{array}$$ 综合这两点，由于协方差是一个矩阵，于是我们用将这两个值相除来得到我们的损失函数，并最大化这个值： $$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmax}}J(w)& =\underset{w}{\mathrm{argmax}}\frac{(\overline{z_{c1}}-\overline{z_{c2}}{)}^2}{Va{r}_z[C_1]+Va{r}_z[C_2]}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w}{w^T(S_1+S_2)w}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$$ 这样，我们就把损失函数和原数据集以及参数结合起来了。下面对这个损失函数求偏导，注意我们其实对 $w$ 的绝对值没有任何要求，只对方向有要求，因此只要一个方程就可以求解了： $$\begin{array}{rl}& \frac{\partial }{\partial w}J(w)=2S_{b}w(w^T{S}_{w}w{)}^{-1}-2w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}{S}_{w}w=0\\ & ⟹S_{b}w(w^T{S}_{w}w)=(w^T{S}_{b}w)S_{w}w\\ & ⟹w\propto S_w^{-1}{S}_{b}w=S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\propto S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})\end{array}$$ 于是 $S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})$ 就是我们需要寻找的方向。最后可以归一化求得单位的 $w$ 值。