一、前言

        本文接续前篇教学 Pytorch 与线性回归 ，本文着重在 Activation Function （ 中文称 激励函数 ），我们会介绍激励函数 （也有人称 激活函数？ 激发函数？ ） 为什么会有用，还有通过示例来探讨/实作（本文介绍常用的 ReLU， Tanh， Sigmoid， Softmax ）

        阅读本文需要有矩阵计算的知识，还有知道线性回归的原理
另外我们也使用 Pytorch

        本文希望透过生活中的范例，白话文的精神，让各位了解 Deep Learning/Machine Learning 中的激励函数 （ Activation Function ）
了解激励函数，其实就是往 Deep Learning 更迈进了一步

二、激励函数（Activation Function） 为什么会有用

网络上大家应该看过什么激励函数解决线性，非线性问题，这些都是抽象的老生常谈，不是数学领域的人应该很难理解，但其实他的概念很简单：

我相信编程程序的人，一定都有用过if这个语法
而激励函数的精神，其实就是用数学的形式来表达if else语法

核心概念就是这么简单
我们通过大量的 if else 去编织（矩阵计算）出结果，这就是为什么需要激励函数，用这种方法配合微分就可以解决问题

三、激励函数 — 生活中的概念范例

我们来看一个简单的问题：传统电饭锅 / 电热水壶

電鍋示意圖，非當事電鍋

傳統電鍋/熱水壺是溫度達到一個程度後就會跳開 ( 燒開水 )，這就是激勵函數的概念
例如：
- 溫度 130 度 以下保持加熱 ( switch = 0 )
- 超過 130 度的時候跳停 (switch = 1 )

        溫度在 130 度的時候跳停 ( switch 1 )

        我們來看看程式怎麼寫

def check(t):if t > 130:return 1return 0

        看到我們使用 if 來解決問題了嗎？

四、激勵函數之 Sigmoid

        數學上，我們可以透過函數達到這種效果，我們來看 sigmoid 這個範例；關於 Sigmoid 的計算公式有興趣可以看看 wiki ，我們這邊主要說明他的概念為什麽有效

簡單的說，Sigmoid 是透過計算讓他的範圍維持在於 0 到 1 之間

先看 Pytorch 程式碼繪製的 sigmoid activation function

x = torch.arange(-10., 10., step=0.01)
plt.plot(x, torch.sigmoid(x))

        解说：

• torch.arange 是产生一个 -10 ... 10 的 array （ tensor ）
• torch.sigmoid 就是 torch 的 sigmoid 函数
• 我们把它绘制成图表来看

        可以看到在不同的 X 范围，最多输出 （ y） 就是 0~1 之间，就算是 -100000 到 100000 也是 （ 如下图）

        看起来是不是和电饭锅跳停的图片有八成像？
        那么问题来了，怎么套用在我们的电饭锅问题上？

五、激励函数与线性回归组合

我们这边，假设 x 是温度，是不是只要有办法让 sigmoid（x） 在 x 大于 130的时候输出 1 就好 ？

回到线性归公式， y = ax + b
所以我们要改写成 y = sigmoid（ax + b）
（a 和 b 是我们的变量 ）
我们写成 Pytorch 代码来看，套用之前文章讲到的自动微分
（ 后面有完整可执行示例，以下是片段代码）

a = torch.rand(1, requires_grad=True)
b = torch.rand(1, requires_grad=True)
def forward(t):return torch.sigmoid( a * t + b )

• 这边我们要使用自动导数 （Auto grad ） 来找出正确的 a， b ，所以 requires_grad=True
• 我们这边 forward（t） 使用 t ，避免变量名称与 x 混淆

先看我们没有训练前的结果

# 溫度範圍 0 ~ 200 度
x = torch.arange(0, 200, step=0.1)
# y_p 是 y predict, 我們預測的 y
y_p = forward(x).detach().numpy()  # .detach().numpy() 是轉換成 numpy
# 繪圖
plt.plot(x, y_p)

        還沒訓練以前，看起來一點也不像是有用的東西
        現在我們開始訓練，這之前，先準備一下正確答案 ( y 為正確答案)

def check(t):if t > 130:return 1return 0
y = torch.tensor([check(t) for t in x]).float()

        註 1: torch.tensor 是將 python array 變成 torch 的 array ( tensor )，類似於 np.array
        註 2: 因為我們計算都是用 float, 所以要轉成 torch 的 float

        然後準備一下 優化器 和 損失函數 ( Loss function )
( 優化器我們使用 Adam ，損失函數我們先用 BCELoss, 這部分有空再另寫文章介紹… )

# 準備變數
a = torch.rand(1, requires_grad=True)
b = torch.rand(1, requires_grad=True)
# 定義計算
def forward(t):# y = sigmoid(ax + b)return torch.sigmoid(a * t + b)
# 優化器
opt = torch.optim.Adam([a, b], lr=0.05)
# 損失函數
loss_func = torch.nn.BCELoss()

開始訓練的程式碼

for _ in range(10000):y_p = forward(x)          # 預測 yloss = loss_func(y_p, y)  # 計算誤差opt.zero_grad()  # 導數重置loss.backward()  # 反向傳導opt.step()       # 優化器修正

我們整理一下，完整可執行範例 :

import numpy as np
import torch
import matplotlib.pyplot as plt# 溫度範圍
x = torch.arange(0, 200, step=0.1)# 我們先做出正確答案
def check(t):if t > 130:return 1return 0
y = torch.tensor([check(t) for t in x]).float()
plt.figure(figsize=(30, 10))
plt.subplot(1, 2, 1)
plt.plot(x, y)# 準備變數
a = torch.rand(1, requires_grad=True)
b = torch.rand(1, requires_grad=True)# 定義計算
def forward(t):# y = sigmoid(ax + b)return torch.sigmoid(a * t + b)# 優化器
opt = torch.optim.Adam([a, b], lr=0.05)# 損失函數
loss_func = torch.nn.BCELoss()# 開始訓練
for _ in range(10000):y_p = forward(x)          # 預測 yloss = loss_func(y_p, y)  # 計算誤差opt.zero_grad()  # 導數重置loss.backward()  # 反向傳導opt.step()       # 優化器修正plt.subplot(1, 2, 2)
y_p = forward(x).detach().numpy()
plt.plot(x, y_p)

得到的如下圖

        左邊 ( 正確答案 ) 和 右邊 ( 預測結果 ) 看起來有八成像了，用 y 約 0.5 做分界點， 落在 130 度左右的範圍

        以上的範例中，我們從來沒有真正的去管 a, b 的實際數值多少，這就是 Machine Learning 厲害的地方，他會自己去找到答案
( 我們一直是用 y = ax + b 這個公式，上面範例也是一種最簡單的感知機 )

六、激勵函數之 Sigmoid / ReLU / Tanh / Softmax 比較

        其實 relu, tanh, softmax 各有自己的應用場景，本文篇幅有限，我們無法在本篇說明實際的應用（ 實際應用會於日後文章再說明)

6.1 - ReLU, Tanh 和 Sigmoid 簡介

ReLU, Tanh 和 Sigmoid 其實差別就是輸出的範圍

• Sigmoid：上面提過，數字越大(正數)，越趨近於 1，數字越小(負數)，越趨近於 0，主要用在 0 / 1 的判斷場景，目前比較多的應用是放在輸出層 ( Deep Learning )
• ReLU：數字大於 0 ，就會是那個數字，如果小於 0 就會是 0 ，用程式碼來看就是 “if x > 0 then x else 0" 又或是 max(x, 0)
  因為這個特性適合用在線性回歸的問題或是保留特徵值傳遞 ( Deep Learning )
• Tanh ：和 Sigmoid 類似，但它的輸出範圍從 0 變成 -1，所以是 -1 與 1，不少場合使用 Tanh 會有更高的效率 ( 因為他比 Sigmoid 有更大的範圍可以傳遞資訊 )

看文字敘述不清楚的話，可以看看輸出範圍圖 ( 我們都假設 x 是 -5 ~ 5)

6.2 - Softmax 簡介

        其中 Softmax 有些特別，他不是一個單純的計算，他適用於分類
( 例如物件辨識，手寫辨識… )

        白話文的說，他是用來計算機率的，他會將輸入的數字給出對應的機率，該機率總和就是就是 1 ( 意即 100% )

        例如，我們常常看到的物件辨識範例，可能會有
- 貓 70%
- 狗 25%
- 馬 5%
        這個 0.70 + 0.25 + 0.05 = 1.00 就是 softmax 輸出的總和

        他不管輸入的數值(x) 範圍是多少，就是會給出一個對應的 x 機率範圍
大家可以跑看看以下程式碼

x = torch.randn(30)
plt.stem(torch.softmax(x, dim=0))
print('總和:', torch.sum(torch.softmax(x, dim=0)))

        類似下圖的東西 ( 因為是亂數，所以每次結果都不會相同 )
總和會是: tensor(1.0000)

        Softmax 会告诉我们哪个 x 发生的机率更大
        而那个 x 怎么来的，我们可以透过 Machine Learning 找出来
        所以用在图像识别方面的输出层很常见

七、小结 

        本文是激励函数的简介上篇，以上是很常用的激励函数 （ Activation Funcitons ）

往后我们的 Deep Learning 基本上都脱离不了他们的概念，下篇我们会来看实际范例的应用 （ 下篇等本人有空再写.... ）

        另外激励函数使用需要注意的部分，有兴趣的读者可以多多研究

• 输出范围与传递信息问题
• 微分问题
• 选择正确的输出函数

  Seachaos