Loss
- loss的作用如下：
- 计算实际输出和真实值之间的差距
- 为我们更新模型提供一定的依据（反向传播）
L1Loss
- 绝对值损失函数：在每一个batch_size内，求每个输入x和标签y的差的绝对值，最后返回他们平均值
MSELoss
- 均方损失函数：在每一个batch_size内，求每个输入x和标签y的差的平方，最后返回他们的平均值
交叉熵Loss
- 当我们在处理分类问题时，经常使用交叉熵损失函数。
- 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。
- 交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
- 由于以下内容需要理解Softmax函数和交叉熵损失函数，所以先回顾一遍：
- Softmax函数：
- 首先，分类任务的目标是通过比较每个类别的概率大小来判断预测的结果。但是，我们不能选择未规范化的线性输出作为我们的预测。原因有两点。
1. 线性输出的总和不一定为1
2. 线性输出可能有负值
- 因此我们采用Softmax规范手段来保证输出的非负、和为1，公式和举例如下：
- 左侧为Softmax函数公式，右侧的o为线性输出，y为Softmax规范后的输出
- 交叉熵损失函数：
- 下图为交叉熵损失函数公式，P(x)为真实概率分布，q(x)为预测概率分布：
- 我们将Softmax规范后的输出代入交叉熵损失函数中，可得：
- 在训练中，我们已知该样本的类别，那么在该样本的真实概率分布中，只有该类别为1，其他都为0。
- 在计算机中的log，默认都是ln。
- 这就是Pytorch官网中的交叉熵损失函数公式：
