网站产品展示单页模板,谷歌字体wordpress主题,北京网站搭建服务商,卡当网站建设激活函数总结#xff08;二十#xff09;#xff1a;激活函数补充 1 引言2 激活函数2.1 Square nonlinearity (SQNL)激活函数2.2 Piecewise Linear Unit (PLU)激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PR… 激活函数总结二十激活函数补充 1 引言2 激活函数2.1 Square nonlinearity (SQNL)激活函数2.2 Piecewise Linear Unit (PLU)激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU)。在这篇文章中会接着上文提到的众多激活函数继续进行介绍给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图
2 激活函数
2.1 Square nonlinearity (SQNL)激活函数
Square nonlinearitySQNL一种新的计算高效激活函数。由于其固有的平方运算该函数被命名为平方律非线性(SQNL)函数。其数学表达式和数学图像分别如下所示 S Q N L ( x ) { 1 , if x 2 x − x 2 4 , if 0 ≤ x ≤ 2 x x 2 4 , if − 2 ≤ x 0 − 1 , if x − 2 SQNL(x) \begin{cases} 1, \text{if } x 2 \\ x - \frac{x^2}{4}, \text{if } 0 \leq x \leq 2 \\ x \frac{x^2}{4}, \text{if } -2 \leq x 0 \\ -1, \text{if } x -2 \\ \end{cases} SQNL(x)⎩ ⎨ ⎧1,x−4x2,x4x2,−1,if x2if 0≤x≤2if −2≤x0if x−2 优点
简单非线性平方运算一个最简单的非线性操作。对称和连续它在零附近是对称的在−∞和∞之间是连续的。线性微分SQNL的导数是线性的。
缺点
可解释性 SQNL不是一个广泛使用的激活函数因此可能需要更多的背景知识来解释其作用和效果。过于简单很难用于处理复杂问题提取复杂问题中的关键特征。
SQNL是一个用于数字电路的激活函数在FPGA中有所用到。。。但是在深度学习中很少出现。。。。
2.2 Piecewise Linear Unit (PLU)激活函数
论文链接https://arxiv.org/pdf/1809.09534v1.pdf PLU是一种类似于 ReLU 的激活函数但在负半部分采用了分段线性变换以引入更多的非线性性质。其数学表达式和数学图像分别如下所示 P L U ( x ) m a x ( α ( x c ) − c , m i n ( α ( x c ) c , x ) ) PLU(x)max(\alpha (xc)-c, min(\alpha (xc)c, x)) PLU(x)max(α(xc)−c,min(α(xc)c,x)) 优点
非线性性质 PLU 引入了非线性性质有助于神经网络捕捉数据中的复杂模式使其在处理非线性问题时表现更好。平滑性 在输入范围内PLU 是分段线性的有助于梯度计算的稳定性减少了梯度突变可能引发的问题。参数调节 通过调整参数 α 和 c可以控制 PLU 激活函数的斜率和平移使其适应不同任务和数据分布。
缺点
参数设置 需要仔细调整参数 α 和 c 才能获得最佳性能这可能需要一些实验和调试。可解释性 PLU 不是最常见的激活函数之一可能需要更多的背景知识来理解其作用和效果。
总之PLU 激活函数通过引入分段线性特性同时保持一定的平滑性旨在增加神经网络的非线性能力。但是这是这种不常见的性质导致其并不常使用。。。。。
3. 总结
到此使用 激活函数总结二十 已经介绍完毕了 如果有什么疑问欢迎在评论区提出对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出后续会对其进行添加
如果觉得这篇文章对你有用记得点赞、收藏并分享给你的小伙伴们哦。
