多类别分类的一个trick

探讨一下在多类别分类场景，如翻译、生成、目标检测等场景下，使用log_softmax的效果优于softmax的原因。
假设词典大小为10，一个词的ID为9（即词典的最后一个词），使用交叉熵作为损失函数，我们给出两组向量：

a = [0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1]
b = [0.1, 0.1, 0.1, 0.1, 0.1, 0.05, 0.05, 0.1, 0.2, 0.1]

已知交叉熵损失函数定义如下：
$loss={\sum }_{i=0}^k{y}_{i}log(p_i)$
则根据公式，可分别计算得到：

CE(softmax(a), 9) = 2.3026
CE(log_softmax(a), 9) = 2.3026CE(softmax(b), 9)  = 2.3027
CE(log_softmax(b), 9) = 2.3033

则使用softmax操作的a,b向量在损失上相差-1e-4，而使用log_softmax在损失上相差-7e-4。
发现1：当类别概率预测错误时，CE(log_softmax(),)会加大错误类别惩罚。
这还不明显，我们现在假设

b = [0, 0, 0, 0, 0, 0.05, 0.05, 0, 0.1, 0.8]

则

CE(softmax(b), 9)  = 2.2084
CE(log_softmax(b), 9) =  1.6365

此时，对比一下softmax操作之后损失之差为9.42e-2，log_softmax损失之差为0.6661。
发现2：使用CE(softmax(),)即便预测概率分布很接近真实概率分布，在损失上下降也不是很明显(9.42e-2)，但使用CE(log_softmax(),)会有非常显著的损失下降(0.6661，约为softmax的7倍)。