机器学习笔记

        我们接下来看一下梯度上升算法的推导过程，首先定义函数：

        设条件概率：

        为了简便表达条件概率，对上面两个式子简写成如下一个式子：

        那么对m个训练样本的Logistic回归即：

       于是我们问题就变成了对上式求出的最大参数估计。为了方便计算两边取对数：

        为了求参数我们需要对求偏导：

        最后得到的梯度上升算法为：

        与线性回归一样，批梯度算法在计算量往往很大，每一次迭代都需要计算所有的样本数据，所以我们引入随机梯度上升算法：