一种基于特征图融合的类激活映射方法及装置制造方法及图纸

本发明专利技术涉及一种基于特征图融合的类激活映射方法及装置。首先将电气设备图像输入至已训练好的卷积神经网络提取每一个卷积层的特征图，并将其融合后输出一个预测该图像类别的分数，并计算特征图相对于分数的梯度；将得到的梯度进行全局平均池化操作得到权重并将其与对应的特征图相乘，ReLU操作后得到最后的类激活图。本发明专利技术通过对深浅层特征图的融合，可让融合后的特征图同时具备深浅层特征图的优点，可以生成性能更好的类激活图。可以生成性能更好的类激活图。可以生成性能更好的类激活图。

A class activation mapping method and device based on feature graph fusion

【技术实现步骤摘要】
一种基于特征图融合的类激活映射方法及装置


[0001]本专利技术涉及计算机视觉、深度学习可解释性领域，主要涉及一种基于特征图融合的类激活映射方法及装置。

技术介绍

[0002]深度神经网络(Deep Neural Networks,DNN)推动了深度学习在计算机视觉领域取得巨大进展。但其参数多、“端到端”、大量非线性网络层的复杂组合等特点，让人们无法理解模型做出决策的机理。模型可解释性的缺失严重阻碍了其在医学诊断、金融、自动驾驶、军事等高风险决策领域的应用，因此对DNN可解释性的研究具有重要意义。为了提高模型透明度，让人们更加信任模型，诸多可解释性方法相继提出。其中可视化方法被广泛研究，它以显著图的方式对模型表征和决策进行解释，显著图中像素颜色强度对应着决策结果的重要性。可视化方法主要分为基于扰动、基于梯度、基于类激活映射。
[0003]通过对CNN的特征图进行可视化可以得出以下结论：1.CNN不同层特征图的关注点不同。浅层更倾向于学习边缘、纹理等细节特征，提取出更全面、噪声大的物体信息。2.越往高层特征表达越抽象，深层学习的是轮廓、形状等代表性特征，只能学习到粗略的位置信息。越往高层的卷积层神经元，所含语义信息越丰富，对物体、场景等目标越具有区分性。3.虽然特征图可视化能够帮助理解CNN学习到了输入图像的哪些特征，但无法确定其中哪些特征与当前决策结果的关联性更高，即无法对CNN的决策结果做出有效解释。
[0004]基于类激活映射方法是目前最主流的可视化显著图技术，被广泛应用于解释模型内部决策，它能够针对CNN决策结果生成特定类别相关的类激活图，具有较好的类别区分性，可有效地定位目标对象。最早提出的基于类激活映射方法—CAM，它通过提取CNN最后一个卷积层的特征图，与权重加权求和生成类激活图。而在随后提出的Grad
‑
CAM、Grad
‑
CAM++、Score
‑
CAM方法中，它们都倾向于利用CNN最后一个卷积层来提取特征图。上述方法具有一个共性问题：它们都依赖于CNN的最后一个卷积层来生成类激活图。虽然CNN里最后一层卷积单元具有出色的定位物体能力，但最后一个卷积层输出的空间分辨率较低，因此生成的类激活图只能定位目标对象的粗略区域。而CNN的浅层具有更大的空间分辨率，能够捕捉目标对象更细粒度的定位信息。因此，本专利技术以CNN每个卷积层为研究对象，通过合并不同卷积层生成的特征图，提出一种基于特征图融合的类激活映射方法—F
‑
CAM(Feature map fusion Class Activation Mapping
‑
based)用于图像识别的可解释性研究，通过对深浅层特征图的融合，可让融合后的特征图同时具备深浅层特征图的优点，可以生成性能更好的类激活图。

技术实现思路

[0005]本专利技术主要是解决现有类激活方法都依赖于CNN的最后一个卷积层来生成类激活图，而生成的类激活图只能定位目标对象的粗略区域的问题。如附图1所示，本专利技术提出一种基于特征图融合的类激活映射方法—F
‑
CAM，生成的类激活图可以获得更精确且更有辨
识度的定位信息。
[0006]本专利技术的上述技术问题主要是通过下述技术方案得以解决的：
[0007]一种基于特征图融合的类激活映射方法，其特征在于，包括：
[0008]将电气设备图像输入至已训练好的卷积神经网络提取每一个卷积层的特征图，并将其融合后输出一个预测该图像类别的分数，并计算特征图相对于分数的梯度；
[0009]将得到的梯度进行全局平均池化操作得到权重并将其与对应的特征图相乘，ReLU操作后得到最后的类激活图
[0010]在上述的一种基于特征图融合的类激活映射方法，提取所有卷积层的特征图并融合特征图具体包括：
[0011]步骤1.1、提取所有卷积层的特征图：对于一张给定的电气设备图像X0送入模型Y，提取Y中每一个卷积层l的特征图A，A的第k个特征图表示为
[0012]步骤1.2、融合特征图：将提取的每一个特征图融合在一起。
[0013]在上述的一种基于特征图融合的类激活映射方法，输出类别分数并计算其梯度具体包括：
[0014]步骤2.1、输出类别分数：模型Y输出预测该图像类别的分数Y
c
(X0)；
[0015]步骤2.2、计算梯度：计算特征图中空间位置(i,j)相对于Y
c
(X0)分数的梯度
[0016][0017]在上述的一种基于特征图融合的类激活映射方法，全局平均池化得到权重具体包括：
[0018]步骤3.1、全局平均池化得到权重：将梯度进行全局平均池化操作，得到权重
[0019][0020]其中Z表示特征图的像素数目。
[0021]在上述的一种基于特征图融合的类激活映射方法，得到最终类激活图具体包括：
[0022]步骤4.1、得到最终类激活图：将权重与特征图线性结合，并进行上采样和归一化操作得到最终类激活图
[0023][0024]其中U表示上采样操作，S表示归一化操作。
[0025]一种基于特征图融合的类激活映射装置，其特征在于，包括：
[0026]第一模块：将电气设备图像输入至已训练好的卷积神经网络提取每一个卷积层的特征图，并将其融合后输出一个预测该图像类别的分数，并计算特征图相对于分数的梯度；
[0027]第二模块：将得到的梯度进行全局平均池化操作得到权重并将其与对应的特征图相乘，ReLU操作后得到最后的类激活图
[0028]因此，本专利技术具有如下优点：
[0029]1.通过对深浅层特征图的融合，可让融合后的特征图同时具备深浅层特征图的优点，可以生成性能更好的类激活图。
[0030]2.F
‑
CAM对应的类激活图可以获得更精确且更有辨识度的定位信息。
附图说明
[0031]附图1是本专利技术的基于特征图融合的类激活映射方法框架图；
具体实施方式
[0032]下面通过实施例，并结合附图，对本专利技术的技术方案作进一步具体的说明。
[0033]实施例：
[0034]本专利技术为一种基于特征图融合的类激活映射方法，本专利技术的算法流程图如图1所示，可以分为四部分：1)提取所有卷积层的特征图、融合特征图；2)输出类别分数、计算梯度；3)全局平均池化得到权重；4)得到最终类激活图。
[0035]步骤一：提取所有卷积层的特征图、融合特征图，步骤如下：
[0036]A、提取所有卷积层的特征图：对于一张给定的电气设备图像X0送入模型Y，提取Y中每一个卷积层l的特征图A，A的第k个特征图表示为
[0037]B、融合特征图：将提取的每一个特征图融合在一起；
[0038]步骤二：输出类别分数、计算梯度，步骤如下：
[0039]A、输出类别分数：模型Y输出预测该图像类别的分数Y
c
(X0)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征图融合的类激活映射方法，其特征在于，包括：将电气设备图像输入至已训练好的卷积神经网络提取每一个卷积层的特征图，并将其融合后输出一个预测该图像类别的分数，并计算特征图相对于分数的梯度；将得到的梯度进行全局平均池化操作得到权重并将其与对应的特征图相乘，ReLU操作后得到最后的类激活图2.根据权利要求1所述的一种基于特征图融合的类激活映射方法，其特征在于，提取所有卷积层的特征图并融合特征图具体包括：步骤1.1、提取所有卷积层的特征图：对于一张给定的电气设备图像X0送入模型Y，提取Y中每一个卷积层l的特征图A，A的第k个特征图表示为步骤1.2、融合特征图：将提取的每一个特征图融合在一起。3.根据权利要求1所述的一种基于特征图融合的类激活映射方法，其特征在于，输出类别分数并计算其梯度具体包括：步骤2.1、输出类别分数：模型Y输出预测该图像类别的分数Y
c
(X0)；步骤2.2、计算梯度：计算特征图中空间位置(i,j)相对于Y
c

【专利技术属性】
技术研发人员：曾春艳，严康，王志锋，万相奎，冯世雄，孔帅，余琰，夏诗言，李坤，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：