可解释学习

神马汉斯，只有在有人看的时候能够答对。

为什么需要可解释机器学习

贷款，医疗需要给出理由，让人们相信该算法的预测结果。

可解释还是强模型

决策树是有比较好的解释性的。


随机森林作出的判断也无法明确指出是什么原因得到的答案。

可解释学习的目标

人需要一个理由，才会被说服去做什么事。

可解释机器学习

两大类，局部可解释，全局可解释

Local Explanation

移除某一部分导致发生大的判断改变，这一部分就是关键部分。

用黑色方块移动遮盖区域，再看算法是否能正确得到预测结果，如果不能，说明是重要部分，蓝色区域就是重要部分。

saliency map，白色区域说明值越大，表明像素值重要。






结果是图片格式导致的这种准确率，而不是真的学到了相关特征判断。

这个是学错了，觉得左下角的文字是更重要，只要有文字就判断为马。

SmoothGrad：加噪音并平均下来的结果，比原来的结果好。

梯度色度的局限性

鼻子变长，越来越长也不会让人们觉得变得更像大象，只看偏微分的结果不足以告诉我们。

直接拿网络的输出可以明确的区分开来。

也可以看注意力部分的特征输出。

可以使用探针方式去查看想要看学习到的特征，要注意分类器的学习好坏，只有学习比较好的分类器能比较多表现出特征。

只保留了内容，而没有保留声音身份信息。

过滤掉女声男声，过滤掉杂音。

---

Global Explanation

filter检测的内容不一样，某个笔画








用小模型且可观察的模型去逼近复杂模型