一种基于特征图融合的类激活映射方法及装置制造方法及图纸

本发明专利技术涉及一种基于特征图融合的类激活映射方法及装置。首先将电气设备图像输入至已训练好的卷积神经网络提取每一个卷积层的特征图，并将其融合后输出一个预测该图像类别的分数，并计算特征图相对于分数的梯度；将得到的梯度进行全局平均池化操作得到权重并将其与对应的特征图相乘，ReLU操作后得到最后的类激活图。本发明专利技术通过对深浅层特征图的融合，可让融合后的特征图同时具备深浅层特征图的优点，可以生成性能更好的类激活图。可以生成性能更好的类激活图。可以生成性能更好的类激活图。

A class activation mapping method and device based on feature graph fusion

【技术实现步骤摘要】
一种基于特征图融合的类激活映射方法及装置


[0001]本专利技术涉及计算机视觉、深度学习可解释性领域，主要涉及一种基于特征图融合的类激活映射方法及装置。

技术介绍

[0002]深度神经网络(Deep Neural Networks,DNN)推动了深度学习在计算机视觉领域取得巨大进展。但其参数多、“端到端”、大量非线性网络层的复杂组合等特点，让人们无法理解模型做出决策的机理。模型可解释性的缺失严重阻碍了其在医学诊断、金融、自动驾驶、军事等高风险决策领域的应用，因此对DNN可解释性的研究具有重要意义。为了提高模型透明度，让人们更加信任模型，诸多可解释性方法相继提出。其中可视化方法被广泛研究，它以显著图的方式对模型表征和决策进行解释，显著图中像素颜色强度对应着决策结果的重要性。可视化方法主要分为基于扰动、基于梯度、基于类激活映射。
[0003]通过对CNN的特征图进行可视化可以得出以下结论：1.CNN不同层特征图的关注点不同。浅层更倾向于学习边缘、纹理等细节特征，提取出更全面、噪声大的物体信息。2.越往高层特征表达越抽象，深层学习的是轮廓、形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征图融合的类激活映射方法，其特征在于，包括：将电气设备图像输入至已训练好的卷积神经网络提取每一个卷积层的特征图，并将其融合后输出一个预测该图像类别的分数，并计算特征图相对于分数的梯度；将得到的梯度进行全局平均池化操作得到权重并将其与对应的特征图相乘，ReLU操作后得到最后的类激活图2.根据权利要求1所述的一种基于特征图融合的类激活映射方法，其特征在于，提取所有卷积层的特征图并融合特征图具体包括：步骤1.1、提取所有卷积层的特征图：对于一张给定的电气设备图像X0送入模型Y，提取Y中每一个卷积层l的特征图A，A的第k个特征图表示为步骤1.2、融合特征图：将提取的每一个特征图融合在一起。3.根据权利要求1所述的一种基于特征图融合的类激活映射方法，其特征在于，输出类别分数并计算其梯度具体包括：步骤2.1、输出类别分数：模型Y输出预测该图像类别的分数Y
c
(X0)；步骤2.2、计算梯度：计算特征图中空间位置(i,j)相对于Y
c

【专利技术属性】
技术研发人员：曾春艳，严康，王志锋，万相奎，冯世雄，孔帅，余琰，夏诗言，李坤，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：