seo 服务,深圳防疫措施优化调整,百度云网盘资源分享网站,个人备案能建立企业网站吗目录
一、实验介绍 二、实验环境
1. 配置虚拟环境
2. 库版本介绍
三、实验内容
0. 导入必要的工具包
1. 定义激活函数
logistic(z)
tanh(z)
relu(z)
leaky_relu(z, gamma0.1)
2. 定义输入、权重、偏置
3. 计算净活性值
4. 绘制激活函数的图像
5. 应用激活函数并…目录
一、实验介绍 二、实验环境
1. 配置虚拟环境
2. 库版本介绍
三、实验内容
0. 导入必要的工具包
1. 定义激活函数
logistic(z)
tanh(z)
relu(z)
leaky_relu(z, gamma0.1)
2. 定义输入、权重、偏置
3. 计算净活性值
4. 绘制激活函数的图像
5. 应用激活函数并打印输出结果
6. 代码整合 一、实验介绍 本实验展示了使用PyTorch实现不同激活函数。
计算净活性值并将其应用于Sigmoid、双曲正切、ReLU和带泄漏的修正线性单元函数。绘制这些激活函数的图像、打印输出结果展示了它们在不同输入范围内的行为和输出结果。 二、实验环境 本系列实验使用了PyTorch深度学习框架相关操作如下
1. 配置虚拟环境
conda create -n DL python3.7
conda activate DL
pip install torch1.8.1cu102 torchvision0.9.1cu102 torchaudio0.8.1 -f https://download.pytorch.org/whl/torch_stable.htmlconda install matplotlib conda install scikit-learn
2. 库版本介绍
软件包本实验版本目前最新版matplotlib3.5.33.8.0numpy1.21.61.26.0python3.7.16 scikit-learn0.22.11.3.0torch1.8.1cu1022.0.1torchaudio0.8.12.0.2torchvision0.9.1cu1020.15.2 三、实验内容
ChatGPT 前馈神经网络Feedforward Neural Network是一种常见的人工神经网络模型也被称为多层感知器Multilayer PerceptronMLP。它是一种基于前向传播的模型主要用于解决分类和回归问题。 前馈神经网络由多个层组成包括输入层、隐藏层和输出层。它的名称前馈源于信号在网络中只能向前流动即从输入层经过隐藏层最终到达输出层没有反馈连接。 以下是前馈神经网络的一般工作原理 输入层接收原始数据或特征向量作为网络的输入每个输入被表示为网络的一个神经元。每个神经元将输入加权并通过激活函数进行转换产生一个输出信号。 隐藏层前馈神经网络可以包含一个或多个隐藏层每个隐藏层由多个神经元组成。隐藏层的神经元接收来自上一层的输入并将加权和经过激活函数转换后的信号传递给下一层。 输出层最后一个隐藏层的输出被传递到输出层输出层通常由一个或多个神经元组成。输出层的神经元根据要解决的问题类型分类或回归使用适当的激活函数如Sigmoid、Softmax等将最终结果输出。 前向传播信号从输入层通过隐藏层传递到输出层的过程称为前向传播。在前向传播过程中每个神经元将前一层的输出乘以相应的权重并将结果传递给下一层。这样的计算通过网络中的每一层逐层进行直到产生最终的输出。 损失函数和训练前馈神经网络的训练过程通常涉及定义一个损失函数用于衡量模型预测输出与真实标签之间的差异。常见的损失函数包括均方误差Mean Squared Error和交叉熵Cross-Entropy。通过使用反向传播算法Backpropagation和优化算法如梯度下降网络根据损失函数的梯度进行参数调整以最小化损失函数的值。 前馈神经网络的优点包括能够处理复杂的非线性关系适用于各种问题类型并且能够通过训练来自动学习特征表示。然而它也存在一些挑战如容易过拟合、对大规模数据和高维数据的处理较困难等。为了应对这些挑战一些改进的网络结构和训练技术被提出如卷积神经网络Convolutional Neural Networks和循环神经网络Recurrent Neural Networks等。 本系列为实验内容对理论知识不进行详细阐释
咳咳其实是没时间整理待有缘之时回来填坑 0. 导入必要的工具包
torchPyTorch深度学习框架的主要包。matplotlib.pyplot用于绘制图形的Python库。
# 导入必要的工具包
import torch
# 绘画时使用的工具包
import matplotlib.pyplot as plt 1. 定义激活函数 logistic(z) 实现逻辑斯蒂Logistic函数将输入张量z应用于逻辑斯蒂函数的公式并返回结果。
def logistic(z):return 1.0 / (1.0 torch.exp(-z)) tanh(z) 实现双曲正切Tanh函数将输入张量z应用于双曲正切函数的公式并返回结果。
def tanh(z):return (torch.exp(z) - torch.exp(-z)) / (torch.exp(z) torch.exp(-z))relu(z) 实现修正线性单元ReLU函数将输入张量z应用于ReLU函数的公式并返回结果。
def relu(z):return torch.max(z, torch.zeros_like(z)) leaky_relu(z, gamma0.1) 实现带泄漏的修正线性单元Leaky ReLU函数将输入张量z应用于Leaky ReLU函数的公式并返回结果。
def leaky_relu(z, gamma0.1):positive torch.max(z, torch.zeros_like(z))negative torch.min(z, torch.zeros_like(z))return positive gamma * negative 2. 定义输入、权重、偏置
x一个形状为(2, 5)的张量代表两个样本每个样本有5个特征。w一个形状为(5, 1)的张量代表权重向量其中每个权重与一个特征相对应。b一个形状为(1, 1)的张量代表偏置项。
# x 表示两个含有5个特征的样本x是一个二维的tensor
x torch.randn((2, 5))
# w 表示含有5个参数的权重向量w是一个二维的tensor
w torch.randn((5, 1))
# 偏置项b是一个二维的tensor但b只有一个数值
b torch.randn((1, 1)) 3. 计算净活性值
z通过将输入张量x与权重张量w相乘并加上偏置项b得到的张量。
# 矩阵乘法请注意 x 和 w 的顺序与 b 相加时使用了广播机制
z torch.matmul(x, w) b 4. 绘制激活函数的图像
创建一个图像窗口并绘制四个子图。在第一个子图中绘制Sigmoid型激活函数和双曲正切函数的图像。在第二个子图中绘制ReLU型激活函数和带泄漏的修正线性单元函数的图像。添加图例并显示图像。
# 从-10 到 10 每间隔0.01 取一个数
a torch.arange(-10, 10, 0.01)
plt.figure()
# 在第一个子图中绘制Sigmoid型激活函数
plt.subplot(2, 2, 1)
plt.plot(a.tolist(), logistic(a).tolist(), colorred, labellogistic)
plt.plot(a.tolist(), tanh(a).tolist(), colorblue, linestyle--, labeltanh)
# 在第二个子图中绘制ReLU型激活函数
plt.subplot(222)
plt.plot(a.tolist(), relu(a).tolist(), colorg, labelrelu)
plt.plot(a.tolist(), leaky_relu(a).tolist(), colorblack, linestyle--, labelleaky relu)plt.legend()
plt.show()5. 应用激活函数并打印输出结果
sig_output将净活性值z应用于Sigmoid函数得到激活后的输出。tan_output将净活性值z应用于双曲正切函数得到激活后的输出。relu_output将净活性值z应用于ReLU函数得到激活后的输出。打印输出结果。
# z为前面计算的净活性值
sig_output torch.sigmoid(z)
tan_output torch.tanh(z)
relu_output torch.relu(z)
# 打印输出结果
print(sigmoid:, sig_output)
print(tanh:, tan_output)
print(ReLU:, relu_output) 6. 代码整合
# 导入必要的工具包
import torch
# 绘画时使用的工具包
import matplotlib.pyplot as plt# Logistic 函数
def logistic(z):return 1.0 / (1.0 torch.exp(-z))# Tanh函数
def tanh(z):return (torch.exp(z) - torch.exp(-z)) / (torch.exp(z) torch.exp(-z))# ReLU函数
def relu(z):return torch.max(z, torch.zeros_like(z))# leakyReLU函数
def leaky_relu(z, gamma0.1):positive torch.max(z, torch.zeros_like(z))negative torch.min(z, torch.zeros_like(z))return positive gamma * negative# x 表示两个含有5个特征的样本x是一个二维的tensor
x torch.randn((2, 5))
# w 表示含有5个参数的权重向量w是一个二维的tensor
w torch.randn((5, 1))
# 偏置项b是一个二维的tensor但b只有一个数值
b torch.randn((1, 1))
# 矩阵乘法请注意 x 和 w 的顺序与 b 相加时使用了广播机制
z torch.matmul(x, w) b
# 画出激活函数的图像
# 从-10 到 10 每间隔0.01 取一个数
a torch.arange(-10, 10, 0.01)
plt.figure()
# 在第一个子图中绘制Sigmoid型激活函数
plt.subplot(2, 2, 1)
plt.plot(a.tolist(), logistic(a).tolist(), colorred, labellogistic)
plt.plot(a.tolist(), tanh(a).tolist(), colorblue, linestyle--, labeltanh)
# 在第二个子图中绘制ReLU型激活函数
plt.subplot(222)
plt.plot(a.tolist(), relu(a).tolist(), colorg, labelrelu)
plt.plot(a.tolist(), leaky_relu(a).tolist(), colorblack, linestyle--, labelleaky relu)plt.legend()
plt.show()# z为前面计算的净活性值
sig_output torch.sigmoid(z)
tan_output torch.tanh(z)
relu_output torch.relu(z)
# 打印输出结果
print(sigmoid:, sig_output)
print(tanh:, tan_output)
print(ReLU:, relu_output)
