Machine Learning

两分类-软分类-概率判别模型-Logistic 回归

有时候我们只要得到一个类别的概率，那么我们需要一种能输出 $[0,1]$ 区间的值的函数。考虑两分类模型，我们利用判别模型，希望对 $p(C|x)$ 建模，利用贝叶斯定理： $$p(C_1|x)=\frac{p(x|C_1)p(C_1)}{p(x|C_1)p(C_1)+p(x|C_2)p(C_2)}$$ 取 $a=\ln \frac{p(x|C_1)p(C_1)}{p(x|C_2)p(C_2)}$，于是： $$p(C_1|x)=\frac{1}{1+\exp (-a)}$$ 上面的式子叫 Logistic Sigmoid 函数，其参数表示了两类联合概率比值的对数。在判别式中，不关心这个参数的具体值，模型假设直接对 $a$ 进行。

Logistic 回归的模型假设是： $$a=w^{T}x$$ 于是，通过寻找 $w$ 的最佳值可以得到在这个模型假设下的最佳模型。概率判别模型常用最大似然估计的方式来确定参数。

对于一次观测，获得分类 $y$ 的概率为（假定$C_1=1,C_2=0$）： $$p(y|x)=p_1^y{p}_0^{1-y}$$

那么对于 $N$ 次独立全同的观测 MLE为： $$\hat{w}={\mathrm{argmax}}_{w}J(w)={\mathrm{argmax}}_w\sum _{i=1}^N(y_i\log p_1+(1-y_i)\log p_0)$$ 注意到，这个表达式是交叉熵表达式的相反数乘 $N$，MLE 中的对数也保证了可以和指数函数相匹配，从而在大的区间汇总获取稳定的梯度。

对这个函数求导数，注意到： $$p_1^{\prime }=(\frac{1}{1+\exp (-a)}{)}^{\prime }=p_1(1-p_1)$$ 则： $$J^{\prime }(w)=\sum _{i=1}^N{y}_i(1-p_1)x_i-p_1{x}_i+y_i{p}_1{x}_i=\sum _{i=1}^N(y_i-p_1)x_i$$ 由于概率值的非线性，放在求和符号中时，这个式子无法直接求解。于是在实际训练的时候，和感知机类似，也可以使用不同大小的批量随机梯度上升（对于最小化就是梯度下降）来获得这个函数的极大值。