wordpress 简码插件,乐陵seo优化信德,外贸建设网站公司,网站收录一键提交激活函数
激活函数#xff08;activation function#xff09;通过计算加权和并加上偏置来确定神经元是否应该被激活#xff0c; 它们将输入信号转换为输出的可微运算。
import torch
import matplotlib.pyplot as plt 简单定义一个画图的函数
def graph_drawing(x_,y_…激活函数
激活函数activation function通过计算加权和并加上偏置来确定神经元是否应该被激活 它们将输入信号转换为输出的可微运算。
import torch
import matplotlib.pyplot as plt 简单定义一个画图的函数
def graph_drawing(x_,y_,label_None): plt.figure(figsize(5, 2.5)) # 设置图形窗口的大小if label_ is None:plt.plot(x_, y_)else:plt.plot(x_, y_, label label_)# plt.plot()里不要markerx更好看plt.legend() # 显示图例 plt.show()创建数据
# 创建 x 数据并设置 requires_gradTrue
x torch.arange(-8.0, 8.0, 0.1, requires_gradTrue) ReLU函数
ReLURectified Linear Unit函数是一种在深度学习中广泛使用的激活函数其表达式为f(x) max(0, x)。它简单地将所有的负值置为0保持正值不变有助于解决梯度消失问题并加速神经网络的训练过程。
# 应用 ReLU 函数
y torch.relu(x)
graph_drawing(x_x.detach(),y_y.detach(),label_relu(x))当输入为负时ReLU函数的导数为0而当输入为正时ReLU函数的导数为1。 当输入值精确等于0时ReLU函数不可导。可以忽略这种情况因为输入可能永远都不会是0.
# 绘制ReLU函数的导函数图像
y.backward(torch.ones_like(x), retain_graphTrue)
# retain_graphTrue这是一个可选参数用于控制梯度图即用于计算梯度的图结构的保留。在默认情况下.backward()会清除梯度图以节省内存。
graph_drawing(x_x.detach(),y_x.grad.numpy(),label_grad of ReLU)
#转换为 numpy 数组似乎转不转都行sigmoid函数
对于一个定义域在R中的输入 sigmoid函数将输入变换为区间(0, 1)上的输出。 因此sigmoid通常称为挤压函数squashing function 它将范围-inf, inf中的任意输入压缩到区间0, 1中的某个值。 当我们想要将输出视作二元分类问题的概率时 sigmoid仍然被广泛用作输出单元上的激活函数 sigmoid可以视为softmax的特例。 当输入接近0时sigmoid函数接近线性变换。
# 绘制sigmoid函数图像
y torch.sigmoid(x)
graph_drawing(x_x.detach(),y_y.detach(),label_sigmoid(x))sigmoid函数的导数当输入为0时sigmoid函数的导数达到最大值0.25 而输入在任一方向上越远离0点时导数越接近0。
# 清除以前的梯度
x.grad.data.zero_()
y.backward(torch.ones_like(x),retain_graphTrue)
graph_drawing(x_x.detach(),y_x.grad.numpy(),label_grad of sigmoid)tanh函数
与sigmoid函数类似 tanh(双曲正切)函数也能将其输入压缩转换到区间(-1, 1)上。
y torch.tanh(x)
graph_drawing(x_x.detach().numpy(), y_y.detach().numpy(), label_tanh(x))tanh函数的导数图像 当输入接近0时tanh函数的导数接近最大值1。 与sigmoid函数图像类似 输入在任一方向上越远离0点导数越接近0
# 清除以前的梯度
x.grad.data.zero_()
y.backward(torch.ones_like(x),retain_graphTrue)
graph_drawing(x_x.detach(),y_x.grad.numpy(),label_grad of tanh)封面图片来源
欢迎点击我的主页查看更多文章。 本人学习地址https://zh-v2.d2l.ai/ 恳请大佬批评指正。
