做网站的一些费用,北京网站建设代理,网络营销中网站的目的是,某宝购买的wordpress一、机器学习深度学习的发展
1、机器学习SVM方法 #xff08;1#xff09;20世纪90年代#xff0c;基于统计学习理论的结果#xff0c;开发了一种新型的学习算法——支持向量机#xff08;SVM#xff09;。这就产生了一类新的理论上优雅的学习机器#xff0c;它们将SVM…一、机器学习深度学习的发展
1、机器学习SVM方法 120世纪90年代基于统计学习理论的结果开发了一种新型的学习算法——支持向量机SVM。这就产生了一类新的理论上优雅的学习机器它们将SVM的中心概念——内核用于许多.... 2有一个核心是怎么样进行特征提取 3选择核函数来计算相关性也就是判断在高维空间当中两个点是如何相关的 4 如果是线性模型就是做内积。如果是高维空间使用核方法的话可以通过变换空间把这个空间拉成一个想要的样子然后通过核函数来计算后就能形成一个凸优化问题 5老师提到了线性模型是一个凸优化问题所以它有很好的理论结可以得出显示解因为是凸优化问题所以有很好的定理有一套完整的数学定理能计算模型的复杂度能计算在什么情况下会发生什么事情。 6Svm对调参没那么敏感,是深度学习神经网络之前最流行的机器学习算法 2、几何学 1思想想要把整个计算机视觉的问题转化为几何学的问题 3、特征工程 1也就是对一张图片怎样去抽取它的特征。 2SIFT模型抽取一些方向的向量来描述这个图片。如果特征向量抽取的好可以使用一个简单的多分的模型svm进行分类
4、在计算机视觉领域比较关心的是怎么样做一个更准确的特征提取使得我们的机器学习能够比较好的去学习。所以整个计算机视觉就是在针对不同的问题进行不同的特征提取。
二、发展史及流行方法
1、在90年代的时候数据量不是特别大计算也比较均匀 我们常用是神经网络因为神经网络是一个比较便宜的框架模型是比较小的因为做了一个随机梯度下降所以对内存的要求并不是特别高。
2、在00年左右内存不错CPU也不错数据量有增加但并不是特别大核方法是一个更合适的方法。因为一它简单二它有理论第三是我们能够运行他能够去把它的核矩阵给算出来在这样的计算量下是比较好的
3、目前我们又回到了神经网络是因为计算量更多了虽然数据没有涨得那么快但是计算量已经比以前翻了许多倍我们可以更多的去挖掘数据里面的信息就可以构造更深的神经网络用计算换取精度我们可以构造更深的神经网络
4、计算能力和数据所要的算法能力他们在不同阶段的发展程度导致大家对网络的选取有不同的偏好
三、数据集
1、对于imagenet的数据集它与之前的黑白数字数据集有一些样本数和类别的一些变化所以允许使用更深的神经网络去抽取里面一些更复杂的信息 四、AlexNet算法 1、暂退法做一些模型的控制因为模型更大了所以使用暂退法来做一些模型的正则
2、relu与sigmoid的相比relu在正值的梯度更大梯度在正区间恒为1在负区间为0并且在零点的时候relu的一阶导更好一点Sigmoid 函数的导数在极值处接近0或1非常小会导致梯度在反向传播过程中迅速衰减。
3、Maxpolling取得最大值使得输出的值更大也使得梯度更加的大能使训练更加容易一些
4、在深度学习神经网络之前也就是机器学习的svm主要关注特征提取机器视觉的专家把对问题的理解转化为标准的机器学习的算法的数值而现在与其说不用提特征不如说是现在需要设计网络去提取特征了机器学习是专家去确定所需要的特征再到svn里面去做分类。而深度学习神经网络是一起学习的过程最后的分类器和特征提取是一起训练的过程现在所使用的深度学习我们构造卷积神经网络比在机器学习人工特征提取更为简单并且容易应用于不同学科更加高效
五、AlexNet架构与LeNet对比 1、激活函数从sigmoid变为ReLu
2、隐藏、全连接层后加入了丢弃层做正则
3、数据增强大概是在训练集中将样本做成了多许别的类别比如截取、色温加大学习难度
六、总结
1、AlexNet的架构与LeNet相似但使用了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。
2、今天AlexNet已经被更有效的架构所超越但它是从浅层网络到深层网络的关键一步。
3、尽管AlexNet的代码只比LeNet多出几行但学术界花了很多年才接受深度学习这一概念并应用其出色的实验结果。这也是由于缺乏有效的计算工具。
4、Dropout、ReLU和预处理是提升计算机视觉任务性能的其他关键步骤。 七、代码跟LeNet差不多
import torch
from torch import nn
from d2l import torch as d2lnet nn.Sequential(# 这里使用一个11*11的更大窗口来捕捉对象。# 同时步幅为4以减少输出的高度和宽度。# 另外输出通道的数目远大于LeNetnn.Conv2d(1, 96, kernel_size11, stride4, padding1), nn.ReLU(),nn.MaxPool2d(kernel_size3, stride2),# 减小卷积窗口使用填充为2来使得输入与输出的高和宽一致且增大输出通道数nn.Conv2d(96, 256, kernel_size5, padding2), nn.ReLU(),nn.MaxPool2d(kernel_size3, stride2),# 使用三个连续的卷积层和较小的卷积窗口。# 除了最后的卷积层输出通道的数量进一步增加。# 在前两个卷积层之后汇聚层不用于减少输入的高度和宽度nn.Conv2d(256, 384, kernel_size3, padding1), nn.ReLU(),nn.Conv2d(384, 384, kernel_size3, padding1), nn.ReLU(),nn.Conv2d(384, 256, kernel_size3, padding1), nn.ReLU(),nn.MaxPool2d(kernel_size3, stride2),nn.Flatten(),# 这里全连接层的输出数量是LeNet中的好几倍。使用dropout层来减轻过拟合nn.Linear(6400, 4096), nn.ReLU(),nn.Dropout(p0.5),nn.Linear(4096, 4096), nn.ReLU(),nn.Dropout(p0.5),# 最后是输出层。由于这里使用Fashion-MNIST所以用类别数为10而非论文中的1000nn.Linear(4096, 10))
