做网站一定要用cms学电脑办公软件培训班
深度学习简介
1 深度学习简介
在介绍深度学习之前，我们先看下这幅图：⼈⼯智能 > 机器学习 > 深度学习
深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示：
传统机器学习算术依赖⼈⼯设计特征，并进⾏特征提取，⽽深度学习⽅法不需要⼈⼯，⽽是依赖算法⾃动提取特征，这也是深度学习被看做⿊盒⼦，可解释性差的原因。
随着计算机软硬件的⻜速发展，现阶段通过拥有众多层数神经⽹络 (Neural Network) 来模拟⼈脑来解释数据，包括图像，⽂本，⾳频等内容。⽬前来看常⽤的神经⽹络包括：
- 卷积神经⽹络(Convolutional Neural Network)
- 循环神经⽹络(Recurrent Neural Network)
- ⽣成对抗⽹络(Generative Adversarial Networks)
- 深度强化学习(Deep Reinforcement Learning)等。
2 什么是神经⽹络
⼈⼯神经⽹络 （ Artificial Neural Network ， 简写为 ANN ）也简称为神经⽹络（ NN ），是⼀种模仿⽣物神经⽹络结构和功能的 计算模型。⼈脑可以看做是⼀个⽣物神经⽹络，由众多的神经元连接⽽成。各个神经元传递复杂的电信号，树突接收到输⼊信号，然后对信号进⾏处理，通过轴突输出信号。下图是⽣物神经元示意图：
那怎么构建⼈⼯神经⽹络中的神经元呢？
受⽣物神经元的启发，⼈⼯神经元接收来⾃其他神经元或外部源的输⼊，每个输⼊都有⼀个相关的权值 (w) ，它是根据该输⼊对当前神经元的重要性来确定的，对该输⼊加权并与其他输⼊求和后，经过⼀个 激活函数 f ，计算得到该神经元的输出。那接下来我们就利⽤神经元来构建神经⽹络，相邻层之间的神经元相互连接，并给每⼀个连接分配⼀个强度，如下图所示：
神经⽹络中信息 只向⼀个⽅向移动 ，即从输⼊节点向前移动，通过隐藏节点，再向输出节点移动，⽹络中没有循环或者环。其中的基本构件是：
- 输入层（Input Layer）: 即输入x的那一层（如图像、文本、声音等）。每个输入特征对应一个神经元。输入层将数据传递给下一层的神经元。
- 输出层（Output Layer）: 即输出y的那一层。输出层的神经元根据网络的任务（回归、分类等）生成最终的预测结果。
- 隐藏层（Hidden Layers）: 输入层和输出层之间都是隐藏层，神经网络的“深度”通常由隐藏层的数量决定。隐藏层的神经元通过加权和激活函数处理输入，并将结果传递到下一层。
特点是：
- 同一层的神经元之间没有连接
- 第N层的每个神经元和第N-1层的所有神经元相连（这就是Fully Connected的含义)，这就是全连接神经网络（FCNN）
- 全连接神经网络接收的样本数据是二维的，数据在每一层之间需要以二维的形式传递
- 第N-1层神经元的输出就是第N层神经元的输入
- 每个连接都有一个权重值（w系数和b系数）
神经网络内部状态值和激活值
每一个神经元工作时， 前向传播 会产生两个值， 内部状态值（加权求和值） 和 激活值 ； 反向传播 时会产生 激活值梯度 和 内部状态值梯度 。
- 内部状态值
神经元或隐藏单元的内部存储值，它反映了当前神经元接收到的输入、历史信息以及网络内部的权重计算结果。
- 每个输入都有一个与之相乘的权重，表示每个输入信号的重要性。
- z=w⋅x+b
- w：权重矩阵
- x：输入值
- b：偏置
- 激活值
- 通过激活函数（如 ReLU、Sigmoid、Tanh）对内部状态值进行非线性变换后得到的结果。激活值决定了当前神经元的输出。
- a=f(z)
- f：激活函数
- z：内部状态值
3 神经元是如何⼯作的？
⼈⼯神经元接收到⼀个或多个输⼊，对他们进⾏加权并相加，总和通过⼀个 ⾮ 线性函数产⽣输出。
- 所有的输⼊xi，与相应的权重wi相乘并求和：
- 将求和结果送⼊到激活函数中，得到最终的输出结果：
5 神经⽹络的优缺点
1. 优点
- 精度⾼，性能优于其他的机器学习⽅法，甚⾄在某些领域超过了⼈类
- 可以近似任意的⾮线性函数
- 随之计算机硬件的发展，近年来在学界和业界受到了热捧，有⼤量的框架和库可供调⽤
2. 缺点
- ⿊箱，很难解释模型是怎么⼯作的
- 训练时间⻓，需要⼤量的计算⼒
- ⽹络结构复杂，需要调整超参数
- ⼩数据集上表现不佳，容易发⽣过拟合
总结
- 知道深度学习与机器学习的关系
- 深度学习是机器学习的⼀个⼦集，主要区别在是否包含特征⼯程
- 知道神经⽹络是什么
- ⼀种模仿⽣物神经⽹络结构和功能的 计算模型
- 知道常⻅的激活函数
- 默认使⽤relu，⼆分类是sigmoid, 多分类是softmaxs
- 知道参数初始化的常⻅⽅法
- 随机初始化，标准初始化，Xavier初始化，He初始化
- 能够构建神经⽹络模型
- 了解神经⽹络的优缺点