东昌网站建设费用,营销策划方案总结,小游戏开发软件,wordpress主页视频1.感知机和激活函数
感知机#xff0c;是构成神经网络的基本单位#xff0c;一个感知机可以接收n个输入X#xff08;x1,x2,x3…xn)T#xff08;每个输入#xff0c;可以理解为一种特征#xff09;,n个输入对应n个权值W#xff08;w1,w2,w3…wn),此外还有一个偏置项b是构成神经网络的基本单位一个感知机可以接收n个输入Xx1,x2,x3…xn)T每个输入可以理解为一种特征,n个输入对应n个权值Ww1,w2,w3…wn),此外还有一个偏置项b学过矩阵的人应该可以看出这其实是一个yWXb的函数实际上就是对所有的输入根据权值和偏置量进行求和运算然后作为一个神经元的输出。如下图 通过上图可以看出神经元里其实是一个线性函数我们现在先不讨论他是如何学习数据的特征我们可以通过极限的思想想象一下这么一个场景要实现通过特征进行设备分类每个设备种类是一个多维空间中的点我们要做的就是用函数画出每种设备所在的多维空间中的位置那么现在再回头看我们神经元中的这个函数他只是一个线性函数所以无论我们有多少个神经元和多少个网络深度他终究在极限的边缘处只能表示线性关系如果想象不出来看下面的推导 红框中就是输出层的推到公式很明显也是线性关系所以为了让预测的情况更加准确我们需要一个激活函数把线性关系转化为非线性关系我们就需要把神经元设计成如下 常见的激活函数有科学家研究出来的 sigmoid对数几率logistic双曲正切Tanh以及现在用的最多的ReLu和Leaky-ReLusoftMax。 一般分类问题都是用softMax函数作为激活函数因为它可以把每种输出作为概率输出 具体的激活函数这里不做解释了
2.梯度下降法
梯度下降法是我们用来计算损失函数误差和更新wb的常用算法他的原理其实很简单如下图
假如损失函数是一个一元2次函数只需要随机获取2个点fX1),f(X0)的值进行比较我们就可以知道大小极小值点肯定是朝着数值小的地方假如fx1f(x0),那么就说明x1更接近极小值点那么我们只需要朝着x1的方向再取一个x2慢慢的就可以向极小值靠近这个x1和x2的距离我们就叫步长 但是选择步长是个问题步长过小迭代次数过多步长过大会产生震荡导致在极小值点来回跳跃所以我们就需要一个可以自动更新步长的方法我们都知道在一个曲线的地方这点的斜率代表了他的抖度当越接近极小值的时候斜率就越小所以用步长*这点的偏导数就可以自动调节步长了如果是二元函数也是一个道理如下图
3.BP神经网络结构 输入层输入的其实就是数据集中的特征一种特征代表一种输入 隐含层就是上面说的神经元其中隐含层的层数和神经元个数是需要通过试验来确定的 输出层数据集中的分类有几个就有几个输出层神经元 在多层神经网络中每一层的输出代表的是上一层的输入只要有足够多的隐含层且每层有足够多的神经元那么神经网络就可以拟合出任意复杂函数或空间分布就比如下面这个 隐含层中有三个神经元可以看出拟合出来了三条直线通过激活函数就可以把线性关系转化为非线性关系。
4.损失函数
在训练神经网络的时候我们知道是用已经的Y和X去训练寻找W和B那么我们就需要知道什么情况下W和B是已经训练的差不多了其实就是当我们训练出来的y0和真实的y之间的差距越小说明训练的W和B就越好那么我们就需要定义一个损失函数用来评估我们的模型训练质量。 这里就介绍两个常用的损失函数 交叉熵损失函数 均方误差函数
5.独热编码
直接举个通俗易懂的例子我们在训练数据的时候有很多抽象的数据比如设备重要程度我们不能直接使用123来区分它的重要程度也不能直接使用它的编码如A1,A2,A3因为使用这些编码作为输入计算机它理解不了所以我们需要把他转化为欧式距离例如设备重要程度分为一般设备重要设备那么我们就应该给他们设置独热编码为[0,1],[1,0]这其实代表的是这个这两个分类到原点的欧式距离。
6.误差反向传播算法
神经网络中每个神经元相连接的线上都有自己的权值w和偏置量b我们在进行一次训练后应该根据损失函数使用最小梯度下降法来返回去更w和b 然后使用更新后的w和b再用新的数据进行训练就这样一直重复从而拟合出最佳的网络。
上图为一次误差反向传播的过程隐含层和输出层使用的激活函数为softMax函数损失函数使用的是均方误差函数可以看到Loss函数中它是一个带平方的函数所以我们就可以用最小梯度下降法来求它的下一个落脚位置慢慢的就可以靠近loss的极小值点 前面我们说过怎么求解下一个落脚点如下图 这里只是把x和y换成了w和b因为x和y是我们数据集中的已知量而w和b是我们要求的未知量关于求w0和b0的偏导数使用的是链式求导法则 以上就是更新神经网络中W和B的全过程。
7.BP神经网络训练过程
初始化网络权值和神经元的阑值一般通过随机的方式进行初始化 前向传播:计算隐层神经元和输出层神经元的输出 后向传播:根据目标函数公式修正W和B
参考慕课网-神经网络与深度学习牟琦深度学习及其应用赵卫亮
