一种融合超列的类激活映射图生成方法技术

本发明专利技术涉及一种融合超列的类激活映射图生成方法，第一步：根据过滤器通道将网络卷积层分为低、中、高区域，并提取每个区域最后一个卷积块作为低、中、高区域三个不同层次的信息；第二步：对d1、d2两个层次的输出特征进行上采样，使其成为低层次的特征维度，然后进行深度拼接，得到特征图，并进行标准化，使其包含的元素范围在[0,1]之间；第三步：将第二步中得到的特征图进行分组批处理，每组特征图采用置信度算法得到每组特征图的置信度；第四步：将所有组的置信度结果进行拼接，得到一个多维向量，对该向量进行软最大(softmax())处理，将结果作为每个特征图的贡献度；第五步：将贡献度与对应的特征图相乘，并将相乘后的特征图相加，获得最终的类激活图。获得最终的类激活图。获得最终的类激活图。

【技术实现步骤摘要】
一种融合超列的类激活映射图生成方法


[0001]本专利技术属于人工智能领域。

技术介绍

[0002]深度学习如火如荼，神经网络的可解释性一直是讨论的热点，而可解释性常和模型的可视化联系在一起，可视化帮助我们理解哪些特征可以引导模型对图像进行分类。目前人们已经掌握了许多不同的可视化技术，如可视化卷积神经网络的中间输出(中间激活)，可视化卷积神经网络的过滤器以及可视化图像中的类激活热力图等。类激活映射图(Class Activation Mapping，CAM)的基本原理是针对最后一个卷积层的特征图，利用反向传播找出每个通道对应的权重，权重越大说明对应的特征图越重要。然后将对应的权重和特征图相乘就得到最终的类激活图。CAM方法虽然可以定位，给出网络判定为某一类的依据，并且理论推导很充分，但是也存在很大的缺点：它需要对网络进行二次训练才能得到每张特征图对应的权重。Grad
‑
CAM算法将CAM的判别性与基于梯度的像素空间的可视化技术结合起来，得到了高分辨率的类别预测解释图，这种技术不局限于全卷积网络，可以用于普通的CNN结构。在此基础上的 Grad
‑
CAM++算法是为了优化Grad
‑
CAM的结果，定位更精确，也更适用于图像中含有不止一个目标类别物体的情况。但是由于Grad
‑
CAM和Grad
‑
CAM++ 这类算法是利用梯度来获取特征权重，而对于深度神经网络来说，梯度容易产生噪声和饱和问题，从而影响效果。Score
‑r/>CAM算法首次摆脱了对梯度的依赖，利用模型对于特征图的全局置信分数来衡量线性权重。Ablation
‑
CAM算法和 SS
‑
CAM]算法也摆脱了对梯度的依赖，并且可视化的结果更为聚焦，背景中的噪声也大大减少。但是Score
‑
CAM、Ablation
‑
CAM和SS
‑
CAM这三种算法生成的CAM主要依赖于神经网络最后一层卷积得到的特征，但是对于网络中、低层的特征并未过多关注，从而容易导致生成的特征图包含的重要信息不全以及边缘信息丢失等问题。

技术实现思路

[0003]本专利技术解决的技术问题是：克服现有技术的不足，提供一种融合超列的类激活映射图生成方法。
[0004]本专利技术解决技术的方案是：一种融合超列的类激活映射图生成方法，包括如下步骤：
[0005]第一步：根据过滤器通道将网络卷积层分为三个区域，三个区域依顺序标记为低、中、高区域，并提取每个区域最后一个卷积块作为低、中、高区域三个不同层次的信息，标记低层次的特征维度为d0(a0*a0*b0)，中层次的特征维度为d1(a1*a1*b1)，高层次的特征维度为d2(a2*a2*b2)；
[0006]第二步：对d1、d2两个层次的输出特征进行上采样，使其成为a0*a0的特征维度，然后对统一维度后的三层输出特征进行深度拼接，得到特征图，并进行标准化，使其包含的元素范围在[0,1]之间；
[0007]第三步：将第二步中得到的特征图进行分组批处理，每组特征图均采用置信度算法得到该组特征图的置信度；
[0008]第四步：将所有组的置信度结果进行拼接，得到一个多维向量，对该多维向量进行软最大处理，将结果作为每个特征图的贡献度；
[0009]第五步：将第四步获得的贡献度与对应的特征图相乘，并将相乘后的特征图相加，获得最终的类激活图。
[0010]优选的，a0≠a1≠a2。
[0011]优选的，第一步中将网络卷积分为三个层级。神经网络学习到的特征是具有辨别性的特征，网络在前几层学到的特征一般是颜色、边缘等低级特征；网络中间部分学习到的是纹理特征；而网络最后几层学习到的则是比较有区别性的特征，这些特则是完整的，具有辨别性关键特征。本专利技术根据网络学到的不同特征将网络分为不同的层级，将网络学到低级特征的层级认定为低层，学到纹理特征的层级定义为中层，学到关键语义特征的层级定义为高层。
[0012]优选的，批处理中的分组优选范围一般是2
n
的形式，具体设置多少跟当时做实验的效果和所使用的内存利用率相关，需要通过尝试来确定最合适的数值。
[0013]优选的，特征激活图计算过程如下：
[0014][0015][0016]其中表示第K个特征图对类别C的贡献度；
[0017]d
k
表示第K个特征图；
[0018]Relu()为线性整流函数；
[0019]N()为标准化处理，将矩阵数值映射到[0,1]区间；
[0020]代表得到的类激活图。
[0021]本专利技术与现有技术相比的有益效果是：
[0022]由于特征激活图相关算法通常是用来解释图像分类任务的，所以它倾向于激活图像中的某一个重要区域，从而忽略了其他可能存在的重要区域。为了解决这个问题，许多算法故意隐藏或擦除对象区域，迫使模型寻找更多不同的部分，但是这些算法要么随机隐藏固定大小的补丁，要么需要重复的模型训练和响应聚合步骤。也有算法以端到端的训练方式通过对抗性擦除策略扩展到非对象区域，但是这种策略可能会逐渐将其注意力扩展到非对象区域，从而产生注意力不准确的问题。除此之外，当前的特征激活图还存在覆盖边缘不够精确的问题。本专利技术针对当前生成特征激活图存在的问题，本专利技术结合超列思想和置信度思想，提出一种联合网络多层信息，并使用批处理方式生成特征激活图的 HCScore
‑
CAM算法，该算法融入超列的思想，将已训练好的网络模型的前、中、末端的卷积层，通过深度连接方式构成更具有代表性的特征图，然后使用批处理方式生成覆盖面更广、边缘信息更精确的特征激活图。当图像中同一目标的数目不止一个时，生成的类激活映射图比其他算法效果好。
附图说明
[0023]图1为超列特征融合方法示意图；
[0024]图2为本专利技术HCScore
‑
CAM算法流程图；
[0025]图3为本专利技术HCScore
‑
CAM算法较其他算法生成特征激活图的效果比较结果图。
具体实施方式
[0026]下面结合实施例对本专利技术作进一步阐述。
[0027]1.多个特征图的超列特征融合
[0028]超列思想，即在CNN输入层到输出层之间的每一个中间卷积层的特征图上，取出输入图片中每一个像素位置上所有单元的激活值组成向量，从而达到有效利用神经网络中间层信息的效果。本专利技术根据超列的思想，将CNN中的低、中、高端卷积层的输出特征取出，通过深度连接方式构成一个包括低、中、高端卷积层输出特征的复合特征,如图1所示。因为CNN中，深层特征有较大感受野以及丰富的语义信息，但由于分辨率的降低导致边缘信息丢失。相反，浅层特征含有丰富的边缘细节信息。将深层特征和浅层特征提取出来生成复合特征，并使用这些复合特征生成特征激活图，不仅可以有效的解决边缘不清晰的问题，而且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合超列的类激活映射图生成方法，其特征在于包括如下步骤：第一步：根据过滤器通道将网络卷积层分为三个区域，三个区域依顺序标记为低、中、高区域，并提取每个区域最后一个卷积块作为低、中、高区域三个不同层次的信息，标记低层次的特征维度为d0(a0*a0*b0)，中层次的特征维度为d1(a1*a1*b1)，高层次的特征维度为d2(a2*a2*b2)；第二步：对d1、d2两个层次的输出特征进行上采样，使其成为a0*a0的特征维度，然后对统一维度后的三层输出特征进行深度拼接，得到特征图，并进行标准化，使其包含的元素范围在[0,1]之间；第三步：将第二步中得到的特征图进行分组批处理，每组特征图均采用置信度算法得到该组特征图的置信度；第四步：将所有组的置信度结果进行拼接，得到一个多维向量，对该多维向量进行软最大处理，将结果作为每个特征图的贡献度；第五步：将第四步获得的贡献度与对应的特...

【专利技术属性】
技术研发人员：刘晶晶，吕学强，游新冬，韩晶，刘国明，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：