机器学习笔记

    返回首页    发表留言
本文作者:李德强
          第二节 梯度上升
 
 

        我们接下来看一下梯度上升算法的推导过程,首先定义函数:

        设条件概率:

        为了简便表达条件概率,对上面两个式子简写成如下一个式子:

        那么对m个训练样本的Logistic回归即:

       于是我们问题就变成了对上式求出的最大参数估计。为了方便计算两边取对数:

        为了求参数我们需要对求偏导:

        最后得到的梯度上升算法为:

        与线性回归一样,批梯度算法在计算量往往很大,每一次迭代都需要计算所有的样本数据,所以我们引入随机梯度上升算法:

    返回首页    返回顶部
  看不清?点击刷新

 

  Copyright © 2015-2018 问渠网 辽ICP备15013245号