网站开发实施经费预算,织梦修改网站背景颜色,网络科技公司主要做什么,广告制作公司本篇文章为天池三月场读书会《可解释机器学习》的内容概述和项目实战分享#xff0c;旨在为推广机器学习可解释性的应用提供一定帮助。
本次直播分享视频和实践代码以及PP获取地址#xff1a;https://tianchi.aliyun.com/specials/promotion/activity/bookclub
目录 内容分…本篇文章为天池三月场读书会《可解释机器学习》的内容概述和项目实战分享旨在为推广机器学习可解释性的应用提供一定帮助。
本次直播分享视频和实践代码以及PP获取地址https://tianchi.aliyun.com/specials/promotion/activity/bookclub
目录 内容分享 为什么我们需要可解释机器学习 《可解释机器学习》的内容介绍 可解释的模型 模型无关的解释方法 基于样本的解释方法 神经网络的解释方法 实战分析
以下为内容分享
在机器学习逐渐黑盒化的情况下人们对模型的可解释性也提出了要求。可解释人工智能XAI被列为数据和分析技术领域的top10重要趋势之一。在2017年美国国防部开展了XAI计划在2018年欧洲强调对可解释机器学习的需求。此外谷歌微软等公司也开展对可解释机器学习相关技术的研究。 为什么我们需要可解释机器学习
从多个方面可知我们需要可解释机器学习
社会对AI的依赖性无人驾驶、安全、金融。这是因为我们的社会比起以往任何时候都更依赖人工智能这促使我们很需要了解模型。比如说如果无人驾驶过程中出现事故那我们应该能过瞄准哪些部件出错或者哪些部门应该为这次事故买单。
用户需要可解释性增强信任。从用户的角度来说用户需要明白这些决策的后果如果说数据会用用户的私人信息那对用户而言这是一件很恐惧的事情。
监管机构需要可解释性。对于可能会违反规则的公司比如说泄漏内幕信息我们应该能够发现。
模型设计者需要解释去调试模型。
解释方法有助于科学知识发现在医学、生态学等诸多领域中可解释性发挥重要作用。
在可解释机器学习和可解释性的领域中还有一些经典案例有助于理解可解释性和可解释机器学习的重要性
哮喘和肺炎的案例。由于神经网络的错误无法解释导致神经网络模型无法用于临床试验。
在狼和狗的图像分类中解释发现模型使用背景中的雪作为区分的特征而不是动物本身。
金融部门发现将id作为最重要的特征。
《可解释机器学习》的内容介绍
可解释机器学习可以从三个角度进行分类:
第一个分类是内置/内在可解释性以及事后可解释性。内置可解释性是将可解释模块嵌入到模型中比如说线性模型的权重、决策树的树结构。另外一种是事后可解释性这是在模型训练结束后使用解释技术去解释模型。
第二种分类是特定于模型的解释和模型无关的解释简单的说特定于模型的解释这意味着必须将其应用到特定的模型体系结构中。而模型无关的解释意味着解释方法与所用模型无关联这种解释方法应用范围广。
第三种分类是全局解释和局部解释。全局解释是解释模型的全局行为。局部解释是在单条数据或者说单个实例上的解释。
《可解释机器学习》书将可解释性方法分为四个模块进行介绍包括可解释的模型、模型无关的解释方法、基于样本的解释和神经网络解释。同时在每一节的内容中分析了包括对方法的直观描述、从数学层面的理解、还有在数据集上的测试和解释过程、对方法优缺点的描述、以及介绍用于实现的工具。
可解释的模型
可解释的模型是指模型内置可解释性包括简单的树模型和线性回归以及运用正则化技巧。
首先如果模型是线性的那么模型的权重就可以表示特征的重要性在线性模型中我们可以用t统计量去表示特征重要性。 如果是逻辑回归那我们同样可以用权重去表示特征的重要性。因为逻辑回归也可以写成线性回归的形式等式右边是加权和左边用连接函数和概率分布表示。最后用几率表示逻辑模型中的特征重要性。 此外线性模型约束结果为高斯分布、特征无交互、结果与特征间关系为线性我们分别可以用广义线性模型、特征交互和广义加性模型去解决。
自身具有可解释性的模型还有决策树和决策规则。决策规则学习if-then规则有三个流派各自代表性的方法分别为OneR、顺序覆盖和贝叶斯规则列表。OneR是学习单条规则顺序覆盖是迭代地学习规则并删除新规则覆盖的数据点贝叶斯规则列表是使用贝叶斯统计将预挖的频繁模式组合到决策列表中。而决策树的树结构则可以用于解释模型的决策过程。此外还有rulefit贝叶斯模型和k近邻它们都具备可解释性。其中rulefit是学习具有原始特征以及很多新特征决策规则的稀疏线性模型。
除了这些模型稀疏性也是很重要的思想它不仅可以减少过拟合的风险也可以提高模型的可解释性现在一些学者的工作就是在稀疏性上进行研究。
查看本文全部内容欢迎访问天池技术圈官方地址https://tianchi.aliyun.com/forum/post/211422
