苏州网站建设最佳方案,成都专业的整站优化,郑州网站建设 论坛,wordpress怎么做资料库一、闲聊神经网络与深度学习
参考链接#xff1a;https://www.kexue.fm/archives/3331 分类模型本质上是在做拟合——模型其实就是一个函数#xff08;或者一簇函数#xff09;#xff0c;里边有一些待定的参数#xff0c;根据已有的数据#xff0c;确定损失函数#x…一、闲聊神经网络与深度学习
参考链接https://www.kexue.fm/archives/3331 分类模型本质上是在做拟合——模型其实就是一个函数或者一簇函数里边有一些待定的参数根据已有的数据确定损失函数最常见的损失函数就是误差平方和不清楚的读者可以回忆最小二乘法的过程。然后优化损失函数到尽可能小从而求出待定参数值。求出参数值之后就可以用这个函数去进行一些预测。这便是分类的基本思想了至于防止过拟合之类的属于细节问题在此先不作讨论。 以上思想看上去简单但是存在两个本质性的、难以解决的问题1、函数的自变量是什么2、这个函数是什么换句话说我怎么知道哪些东西特征对我想要的分类工作有帮助其次复杂的非线性的现象无处不在找到这些特征后我怎么知道用哪个函数去拟合它事实上这两个问题至今没有很好的答案。在深度学习出现以前模型和特征的选取基本都是人工选择的。换句话说机器学习领域发展了几十年却连两个本质性的问题都没有解决 所谓自变量便是特征选取哪些特征作为x在深度学习之前都是人为设计所谓函数是什么就是采取哪种算法进行拟合。 没错神经网络就是通过多重复合函数来拟合的而且是最简单的函数的符合——一个是线性函数另外一个是最简单的非线性函数二元函数θ(x) 换句话说深度学习的算法是用来发现良好的特征的而这部分工作以前通常都只是靠人工来选取而且选取的效果不一定“良好”。现在机器能够自动无监督地完成这个事情实现的效果还不比人工选取的差。找到了良好的特征甚至线性模型都可以有不错的表现。所以才说深度学习将人工智能领域推进了一大步称“深度学习”为目前最接近人工智能的算法 目前就是提特征线性层 其中网络的输入和输出是一样的都是100维而中间隐藏层的节点是50维的。自编码器希望通过上述神经网络训练一个简单的函数xx 也就是希望输入跟输出是一样的。可是在训练过程中从输入层到隐藏层维度从100维降低到了50维意味着信息有所损失了可是从隐藏层到输出层维度又恢复为100维既然信息已经损失因此理论上来说这个重构过程是不可能实现的。 然而我们偏要强迫它这样训练那么会得到什么结果呢机器也没办法只好很勉强地从这50维数据中重构原始数据了为了使得重构的效果尽可能好机器只好把输入的一大批数据的共同特征提取出来作为重构的结果 对于自编码的解释
文本情感分类
看完了传统的建模方式发现了更有意思的东西去看看。
