广州顺德网站设计,公众号的微网站怎么做的,广元市建设局网站首页,微信小程序视频网站开发教程CIFAR10模型搭建 CIFAR10模型结构 0. input : 332x32#xff0c;3通道32x32的图片 -- 特征图(Feature maps) : 3232x32即经过32个35x5的卷积层#xff0c;输出尺寸没有变化#xff08;有x个特征图即有x个卷积核。卷积核的通道数与输入的通道数相等#xff0c;即35x532x323通道32x32的图片 -- 特征图(Feature maps) : 3232x32即经过32个35x5的卷积层输出尺寸没有变化有x个特征图即有x个卷积核。卷积核的通道数与输入的通道数相等即35x5。两种方法推导出padding 2、stride 1的值
•公式法 3232dilation 1(默认值此时没有空洞)kernel_size 5
•理论法为保持输出尺寸不变padding都是卷积核大小的一半则有paddingkernel_size/2奇数卷积核把中心格子对准图片第一个格子卷积核在格子外有两层那么padding2。
1.input : 3232x32 -- output : 3216x16即经过2x2的最大池化层stride 2池化层的步长为池化核的尺寸padding 0特征图尺寸减小一半。2.input : 3216x16 -- output : 3216x16即即经过32个35x5的卷积层输出尺寸没有变化。padding 2、stride 1。3.input : 3216x16 -- output : 328x8即经过2x2的最大池化层stride 2padding 0通道数不变特征图尺寸减小一半。4.input : 328x8 -- output : 648x8即即经过64个35x5的卷积层输出尺寸没有变化。padding 2、stride 1。5.input : 648x8 -- output : 644x4即经过2x2的最大池化层stride 2padding 0通道数不变特征图尺寸减小一半。 6.input644x4--output :1×1024 即经过展平层 Flatten 作用将644x4的特征图依次排开。7.input1×1024--output :1×64 即经过线性层Linear1的作用。 8.input1×64--output1×10 即经过线性层Linear2的作用。
代码验证 按照网络结构一层一层搭建网络结构。示例1
# 导入需要用到的库
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear# 搭建CIFAR10模型网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.conv1 Conv2d(3, 32, 5, padding2) # 第一个卷积层self.maxpool1 MaxPool2d(2) # 第一个最大池化层self.conv2 Conv2d(32, 32, 5, padding2) # 第二个卷积层self.maxpool2 MaxPool2d(2) # 第二个最大池化层self.conv3 Conv2d(32, 64, 5, padding2) # 第三个卷积层self.maxpool3 MaxPool2d(2) # 第三个最大池化层self.flatten Flatten() # 展平层# 两个线性层self.linear1 Linear(1024, 64) # 第一个线性层self.linear2 Linear(64, 10) # 第二个线性层def forward(self, x):x self.conv1(x)x self.maxpool1(x)x self.conv2(x)x self.maxpool2(x)x self.conv3(x)x self.maxpool3(x)x self.flatten(x)x self.linear1(x)x self.linear2(x)return xtudui Tudui() # 实例化
print(tudui) # 观察网络信息
input torch.ones((64, 3, 32, 32)) # 为网络创建假想输入目的是检查网络是否正确
output tudui(input) # 输出
print(output.shape) # torch.Size([64, 10])结果与图片结果一致 运行结果
# 两个print出的内容分别为
Tudui((conv1): Conv2d(3, 32, kernel_size(5, 5), stride(1, 1), padding(2, 2))(maxpool1): MaxPool2d(kernel_size2, stride2, padding0, dilation1, ceil_modeFalse)(conv2): Conv2d(32, 32, kernel_size(5, 5), stride(1, 1), padding(2, 2))(maxpool2): MaxPool2d(kernel_size2, stride2, padding0, dilation1, ceil_modeFalse)(conv3): Conv2d(32, 64, kernel_size(5, 5), stride(1, 1), padding(2, 2))(maxpool3): MaxPool2d(kernel_size2, stride2, padding0, dilation1, ceil_modeFalse)(flatten): Flatten(start_dim1, end_dim-1)(linear1): Linear(in_features1024, out_features64, biasTrue)(linear2): Linear(in_features64, out_features10, biasTrue)
)
torch.Size([64, 10])
Sequential的使用 当模型中只是简单的前馈网络时即上一层的输出直接作为下一层的输入这时可以采用torch.nn.Sequential()模块来快速搭建模型而不必手动在forward()函数中一层一层地前向传播。因此如果想快速搭建模型而不考虑中间过程的话推荐使用torch.nn.Sequential()模块。
接下来用torch.nn.Sequential()改写示例 1示例 2 如下。示例2
# 导入需要用到的库
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential# 搭建CIFAR10模型网络
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 Sequential(Conv2d(3, 32, 5, padding2), # 第一个卷积层MaxPool2d(2), # 第一个最大池化层Conv2d(32, 32, 5, padding2), # 第二个卷积层MaxPool2d(2), # 第二个最大池化层Conv2d(32, 64, 5, padding2), # 第三个卷积层MaxPool2d(2), # 第三个最大池化层Flatten(), # 展平层# 两个线性层Linear(1024, 64), # 第一个线性层Linear(64, 10) # 第二个线性层)def forward(self, x):x self.model1(x)return xtudui Tudui() # 实例化
print(tudui) # 观察网络信息
input torch.ones((64, 3, 32, 32)) # 为网络创建假想输入目的是检查网络是否正确
output tudui(input) # 输出
print(output.shape) # torch.Size([64, 10])结果与图片结果一致
运行结果
# 两个print出来的结果分别为
Tudui((model1): Sequential((0): Conv2d(3, 32, kernel_size(5, 5), stride(1, 1), padding(2, 2))(1): MaxPool2d(kernel_size2, stride2, padding0, dilation1, ceil_modeFalse)(2): Conv2d(32, 32, kernel_size(5, 5), stride(1, 1), padding(2, 2))(3): MaxPool2d(kernel_size2, stride2, padding0, dilation1, ceil_modeFalse)(4): Conv2d(32, 64, kernel_size(5, 5), stride(1, 1), padding(2, 2))(5): MaxPool2d(kernel_size2, stride2, padding0, dilation1, ceil_modeFalse)(6): Flatten(start_dim1, end_dim-1)(7): Linear(in_features1024, out_features64, biasTrue)(8): Linear(in_features64, out_features10, biasTrue))
)
torch.Size([64, 10]) 我们发现使用Sequential之后得到的结果示例2与按照前向传播一层一层搭建得到的结果示例1一致使用Sequential之后可以使得forward函数中的内容得以简化。
使用tensorboard实现网络结构可视化
# 导入需要用到的库
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.tensorboard import SummaryWriter# 搭建CIFAR10模型网络class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.conv1 Conv2d(3, 32, 5, padding2) # 第一个卷积层self.maxpool1 MaxPool2d(2) # 第一个最大池化层self.conv2 Conv2d(32, 32, 5, padding2) # 第二个卷积层self.maxpool2 MaxPool2d(2) # 第二个最大池化层self.conv3 Conv2d(32, 64, 5, padding2) # 第三个卷积层self.maxpool3 MaxPool2d(2) # 第三个最大池化层self.flatten Flatten() # 展平层# 两个线性层self.linear1 Linear(1024, 64) # 第一个线性层self.linear2 Linear(64, 10) # 第二个线性层def forward(self, x):x self.conv1(x)x self.maxpool1(x)x self.conv2(x)x self.maxpool2(x)x self.conv3(x)x self.maxpool3(x)x self.flatten(x)x self.linear1(x)x self.linear2(x)return xtudui Tudui() # 实例化
print(tudui) # 观察网络信息
input torch.ones((64, 3, 32, 32)) # 为网络创建假想输入目的是检查网络是否正确
output tudui(input) # 输出
print(output.shape) # torch.Size([64, 10])结果与图片结果一致# 使用tensorboard实现网络可视化
writer SummaryWriter(./log_sequential)
writer.add_graph(tudui, input)
writer.close()运行上述代码则会在项目文件夹CIFAR10model中出现对应的日志文件夹log_sequential。 随后打开Terminal如下图所示。 输入tensorboard --logdirlog_sequential如下图所示。 按下Enter键得到一个网址如下图所示。 打开这个网址得到可视化界面。 我们点开搭建好的网络Tudui可以得到更具体的网络每一层如下图所示。 我们将其放大如下图所示。 网络中的每一层
