企业网站建设合同电子版,桂林网红打卡景点,北京市住房和城乡建设官网,宁波网站建设推广本系列教程适用于没有任何pytorch的同学#xff08;简单的python语法还是要的#xff09;#xff0c;从代码的表层出发挖掘代码的深层含义#xff0c;理解具体的意思和内涵。pytorch的很多函数看着非常简单#xff0c;但是其中包含了很多内容#xff0c;不了解其中的意思… 本系列教程适用于没有任何pytorch的同学简单的python语法还是要的从代码的表层出发挖掘代码的深层含义理解具体的意思和内涵。pytorch的很多函数看着非常简单但是其中包含了很多内容不了解其中的意思就只能【看懂代码】无法【理解代码】。 这里写目录标题 官方定义demoDropout的位置 官方定义
Dropout是一种常用的正则化方法通过随机将部分神经元的输出置为0来减少过拟合。
Dropout在训练时随机讲某些张量的值设为0从而减少模型对训练数据的依赖程序提高泛化能力同时在测试时需要关闭Dropout具体来说如果处于model.eval模式时并不会使用Dropout。
官方的文档如下torch.nn.Dropout:
demo
下面是一个官方文档给出的例子
import torch
import torch.nn as nnm nn.Dropout(p0.2)
input torch.randn(20, 16)
output m(input)print(input[0])
print(output[0])输出的结果 我们会发现
有一部分的值变为了0这些值大约占据总数的0.2。其它非0参数都除以0.8使得值变大了。比如0.3514 / 0.8 0.4392-1.0317 / 0.8 -1.2896。
Dropout的位置
一般来说我们在实现的神级网络中这么定义
self.dropout nn.Dropout(0.3)但是具体在哪里使用是个问题。
一般来说Dropout使用位置是在隐藏层之间的节点上具体来说就是在全连接层之间放置Dropout来避免过拟合
import torch
import torch.nn as nnclass Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 nn.Linear(in_features, hidden_size)self.dropout nn.Dropout(dropout_prob)self.fc2 nn.Linear(hidden_size, out_features)def forward(self, x):x self.fc1(x)x self.dropout(x)x torch.relu(x)x self.fc2(x)return x比如上面得这个例子dropout被放置在fc1和fc2之间。
