宝塔做两个网站6,开公司要做哪些准备,一个网站内容怎么规划,济南网站建设优化公司grading descent 梯度下降参数更新方法 --导数和学习率 从导数项直观理解梯度下降 grading descent 算法就是更新参数#xff0c;今天来学习下如何更新w和b 梯度下降
还是以线性回归的均方差损失函数如下为例#xff1a; 损失函数的可视化图如下 #xff1a; 横轴和纵轴分… grading descent 梯度下降参数更新方法 --导数和学习率 从导数项直观理解梯度下降 grading descent 算法就是更新参数今天来学习下如何更新w和b 梯度下降
还是以线性回归的均方差损失函数如下为例 损失函数的可视化图如下 横轴和纵轴分别是w和bz轴是损失值。梯度更新w和b让损失能走到局部最小值附近这个局部的最小值意味着在它周围损失的变化已经很小了。
参数更新方法 --导数和学习率
更新的方法如下 是learning rate也就是学习率。 它决定了梯度下降的幅度也就是一次走大步还是小步通常学习率在0~1之间。
这一项是导数其实是偏导数微积分中的概念不过不懂也没问题下一节会简单介绍且刚开始不需要深入的探究。
通常情况下正确的做法是w和b同时更新 当然也有特殊的情况非同时更新但是很少见所以我们按照正确的左侧做法同时更新w和b就可以。
从导数项直观理解梯度下降
为了直观理解还是先假设b为0损失函数映射到二维空间上
通过上面的图可以看出损失函数的最小值是在曲线的底所以我们的目标就是要损失靠近这个点。 而导数其实是某个具体点的斜率于是就有图中的两种情况
导数为正数w-学习率*导数 就是在减少w此时刚好是在靠近最小值的点导数为负数w-学习率*导数就是在增大w此时也是是在靠近最小值的点
也就是说无论是在最小值的左侧或者右侧的w都能通过上面的公式更新到靠近最小值的w点
资料来源-吴恩达《机器学习》
