aspx网站架设,宁波做网站优化哪家好,wordpress p=29,网站开发研究综述可以为神经网络中的不同神经元选择激活函数#xff0c;我们将从如何为输出层选择它的一些指导开始#xff0c;事实证明#xff0c;取决于目标标签或地面真相标签y是什么#xff0c;对于输出层的激活函数#xff0c;将有一个相当自然的选择#xff0c;然后看看激活函数的选…可以为神经网络中的不同神经元选择激活函数我们将从如何为输出层选择它的一些指导开始事实证明取决于目标标签或地面真相标签y是什么对于输出层的激活函数将有一个相当自然的选择然后看看激活函数的选择也适用于神经网络的隐藏层。
可以为神经网络中的不同神经元选择不同的激活函数在考虑输出层的激活函数时往往是一个相对自然的选择取决于地面真相标签Y的具体目标是什么如果正在处理一个分类问题其中y为0或1所以一个二进制分类问题那么Z状结肠激活功能几乎总是最自然的选择因为神经网络学习预测y1的概率就像逻辑回归。如果你在研究二进制分类问题在输出层使用Z状结肠如果解决一个回归问题可以选择不同的激活函数例如如果试图预测明天的股票价格将如何变化与今天的股价相比它可以上升也可以下降所以在这种情况下y是一个数字可以是正的也可以是负的在这种情况下建议使用线性激活函数G或Z可以具有正值或负值使用线性激活函数最后如果y只能取非负值比如你预测的房价永远不会是负值那么最自然的选择就是Relu激活功能因为此激活函数只接受非负值即零值或正值因此当选择用于输出层的激活函数时通常取决于标签Y是什么你想预测会有一个很自然的选择对于神经网络的输出层也是如此。 对于神经网络的隐藏层Relu激活函数是迄今为止许多人训练神经网络的最常见的选择尽管最初用Z状结肠激活函数描述了神经网络事实上在神经网络发展的早期历史中人们在许多地方使用z状结肠激活功能这个领域已经发展到更经常地使用relu而Z状结肠几乎从来没有除了一个例外确实在输出层中使用了Z状结肠激活函数。
如果比较一下Relu和Z状结肠激活函数Relu的计算速度更快一点因为它只需要计算(0,z)的最大值而Z状结肠需要取一个指数然后取一个逆以此类推所以效率有点低更重要的是Relu函数只在图的一部分变得平坦左边这里完全是平的Z状结肠激活功能在两个地方变平在图的左边它平移到图的右边如果用梯度下降来训练神经网络当你有一个函数在很多地方都是平坦的梯度下降会很慢梯度下降优化了WB的成本函数J而不是优化激活功能但是激活函数是计算中的一部分这导致在wb的成本函数j中有更多的位置也是平的坡度小学习速度慢研究人员发现使用relu激活函数可以使你的神经网络学习得更快一点如果你想决定隐藏层使用什么激活功能Relu激活功能已经成为迄今为止最常见的选择。 总结一下对于输出层使用Z状结肠如果有二进制分类问题线性如果y是一个可以具有正值或负值的数或者使用relu如果y只能取正值或零正值或非负值对于隐藏的图层只使用relu作为默认激活函数在张量流中与其说激活等于Z状结肠对于隐藏的图层要求TensorFlow使用relu激活函数然后对于输出层它使用Z状结肠激活功能但是如果使用线性激活函数该函数显示了它的语法。 有了这组更丰富的激活函数将会很好的建立比上一次更强大的神经网络仅使用Z状结肠激活功能。
