一种基于像素梯度加权的卷积神经网络特征可视化方法及系统技术方案

本发明专利技术公开了一种基于像素梯度加权的卷积神经网络特征可视化方法及系统，该方法包括：确定进行可视化所需的CNN模型、输入图像、类别索引、网络层级等需求参量；利用训练好的CNN模型对输入图像进行前向传播计算；保存目标层级前向计算输出的特征图；接着基于类别索引生成对应的单位向量并进行反向传播；获取目标层级反向传播得到的梯度图；对上述得到的梯度图和特征图进行像素级加权融合；再经过后处理最后得到类激活可视化输出结果。本发明专利技术提供一种新的融合特征图和梯度图的CNN可视化方法，可以得到对类别的显著性激活图，提供对类别更具有判别性的解释和定位能力，并对网络层数适用范围更广。数适用范围更广。数适用范围更广。

【技术实现步骤摘要】
一种基于像素梯度加权的卷积神经网络特征可视化方法及系统


[0001]本专利技术涉及计算机视觉和深度学习可解释性领域，特别是涉及一种基于像素梯度加权的卷积神经网络特征可视化方法及系统。

技术介绍

[0002]目前，以卷积神经网络为主的深度学习技术为计算机视觉带来了革命性的进步，在很多任务上取得了远超传统算法的重大突破，比如图像识别、物体检测、语义分割、图像检索等。但卷积神经网络(CNN)目前仍然存在缺陷，其中最大的问题就是解释性差。虽然存在较为公认的理解是，CNN模型对于计算机视觉处理上模拟了人类大脑神经元不同层次的互相连接，卷积滤波提取图像局部信息的模型也与人类感受野模型较为相近，不同神经元获取部分信息，处理得到响应然后向更深层级传递。这种方式也确实有效，让CNN能够自动地提取到潜在特征，但是我们仍然很难从人类的视角去认识和解释它学出的特征究竟是什么样的。解释性弱使得深度神经网络莫模型通常类似于一个黑箱，我们知其然而难知其所以然，这也限制了我们尽可能地利用人类先验去设计网络模型，以追求更好的性能，更强的鲁棒性和迁移性。/>[0003]因此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，构建融合特征图和梯度图的CNN可视化方法，通过该方法对输入图像进行可视化，可视化方法构建，包括如下步骤：S1，输入类别激活可视化计算过程中的需求参量，包括CNN模型、待可视化图像、类别索引和网络层级；S2，利用数据集对CNN模型进行训练，优化参数，得到训练好的CNN模型；S3，利用训练好的CNN模型对输入图像进行前向传播计算；S4，利用网络层级，获取目标层级前向传播计算输出的特征图；S5，基于类别索引生成对应的单位向量并进行反向传播；S6，利用网络层级，获取目标层级反向传播得到的梯度图；S7，对上述步骤S4得到的特征图和上述步骤S6得到的梯度图进行像素级加权融合；S8，经过后处理得到类别激活可视化输出结果。2.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，所述步骤S7中，对步骤S4得到的特征图和步骤S6得到的梯度图进行像素级加权融合具体步骤为：S7.1，首先，记S4步骤得到的特征图为A∈R
C
×
H
×
W
，其中表示特征图第k个通道、第i行、第j列像素位置的值，同理记S6步骤得到的梯度图为G
c
，其中E
c
为单位向量，然后对特征图每个像素位置进行权值计算，权值矩阵W的(i，j)像素位置的权重为：S7.2，经过加权融合，可得到对类别c的类激活可视化图L
c
＝∑
k
W
kc
·
A
k
；其中，类激活图L
c
∈R
H
×
W
，每个像素位置的激活值为：3.根据权利要求2所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，在利用特征图和梯度图参与计算前，对其进行线性整流的预处理。4.根据权利要求3所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，预处理使用的线性激活函数为ReLU函数。5.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于...

【专利技术属性】
技术研发人员：黄炜，颜天信，
申请(专利权)人：安徽省科亿信息科技有限公司，
类型：发明
国别省市：