跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
采样电阻捷比信 · 专业器件主题站

斯坦福探索深层神经网络的可解释性,决策树是关键

深度学习的热潮仍在汹涌澎.。神经网络再次成为业界特别关注的问题。人工智能的未来充满希望,深度学习正在影响我们的日常生活。最近,斯坦福大学与我们分享了一篇关于他对深度神经网络的可解释性的探索的论文。让我们看看他是如何理解的!最近,斯坦福大学计算机科学博士学位的Mike Wu发表了一个博客,介绍了他对深度神经网络的可解释性的探索,主要涉及树的正则化。他的论文“超越稀疏性:用于可解释性的深度模型的树正则化”。已被AAAI 2018接受。近年来,深度学习已迅速成为行业和学术界的重要工具。神经网络再次成为解决图像识别,语音识别,文本翻译和其他难题的先进技术。去年10月,Deepmind发布了功能更强大的AlphaGo,可以通过从头开始的训练来击败最优秀的人类玩家和机器人,这表明AI的未来是有希望的。在该行业中,Facebook和Google等公司将深层网络集成到计算管道中,每天依靠算法来处理数十亿比特的数据。诸如Spring和Babylon Health之类的初创公司正在使用类似的方法来破坏医疗领域。深度学习正在影响我们的日常生活。图1:GradCam-使用目标概念的渐变来突出显示重要像素,以视觉方式做出决策。但是深度学习是一个黑匣子。当我第一次听说它时,我对它的工作原理感到困惑。多年后,我仍在探索合理的答案。试图解释现代神经网络是困难的,但至关重要。如果我们打算依靠深度学习来创建新的AI,处理敏感的用户数据或开药,那么我们必须了解这些模型是如何工作的。幸运的是,学者们也对深度学习提出了很多理解。以下是一些近期论文的示例:Grad-Cam(Selvaraju等人,2017):使用最后一个卷积层的梯度生成热图,突出显示输入图像中的重要像素以进行分类。 LIME(Ribeiro等人,2016):使用稀疏线性模型(可以轻松识别重要特征)的近似DNN预测。特征可视化(Olah 2017):对于具有随机噪声的图像,优化像素以激活经过训练的DNN中的特定神经元,然后可视化神经元所学。损失情况(Li et al.2017):可视化DNN试图最小化的非凸损失函数,并查看架构/参数如何影响损失。图2:特征可视化:通过优化和激活特定的神经元或一组神经元来生成图像(Olah 2017)。从以上示例可以看出,学术界对于如何解释DNN有着不同的见解。隔离单个神经元的作用?可视化损失?功能稀疏?