做网站简约学校网站,一家专做二手手机的网站叫什么手机,精品网站建设费用,黄页推广有限公司1 前言
假设我们有这样的两个模型#xff1a;
第一个是逻辑回归 第二个是神经网络 他们的损失函数都是交叉熵 sigmoid函数的导数#xff1a; 他们能不能用0初始化呢#xff1f;
2 逻辑回归 2.1 求偏导
2.1.1 结论 2.1.2 L对a的偏导 2.1.3 对w1#xff0c;w2求偏导 w2同…1 前言
假设我们有这样的两个模型
第一个是逻辑回归 第二个是神经网络
他们的损失函数都是交叉熵 sigmoid函数的导数 他们能不能用0初始化呢
2 逻辑回归 2.1 求偏导
2.1.1 结论 2.1.2 L对a的偏导 2.1.3 对w1w2求偏导 w2同理
2.1.4 对b偏导 2.2 参数更新与分析 w1,w2,b的梯度和w1,w2,b无关所以初始化成0之后没有影响 3 神经网络 3.1 偏导
a3的部分和前面逻辑回归是一样的 3.1.1 a1部分推导
3.1.1.1 对a1的偏导 3.1.1.2 对w11,w21,b1的推导 3.2 初始化为0
3.2.1 w初始化为0b初始化为0 3.2.2w初始化为0b随机初始化 3.3 w随机初始化b初始化为0
前向传播过程中a1,a2均不为0反向传播的过程中各参数均可以更新
更新幅度也不一样
参考内容神经网络权重为什么不能初始化为0 (qq.com)
