约束优化类激活映射的深度神经网络特征可视化方法技术

本发明专利技术公开了一种约束优化类激活映射的深度神经网络特征可视化方法。通过训练或下载获得一个用于图像分类的采用深度神经网络构建的预训练模型；使用预训练模型对一幅待测图像进行前向传递获得特征图，并进一步处理获得最终权重向量；通过最终权重向量对特征图的各分量进行加权求和，获得可视化特征图，作为最终可视化结果进行呈现。本发明专利技术能够对任意的深度神经网络进行特征可视化，可以达到更好的深度特征可解释性的可视化效果，具有更少的噪声及更强的类判别性。

【技术实现步骤摘要】
约束优化类激活映射的深度神经网络特征可视化方法
本专利技术涉及了一种深度学习可解释性领域的图像特征可视化方法，尤其是一种约束优化和类激活映射的深度神经网络特征可视化方法。
技术介绍
深度学习技术已经在一些领域取得了显著的成果和优越的性能，特别是计算机视觉领域，如图像分类等任务。然而由于其数学原理没有被完全探明，其端到端的黑盒特性导致人类无法得知一个深度神经网络是如何做出决策的。因而关于深度学习可解释性的研究在近年来逐渐兴起，一种最直接的思路便是利用可视化技术获得对于预测起正向作用的图像区域，特别是可视化深度神经网络中间层的特征表示。深度神经网络的特征可视化技术有多种分类，如基于反向传播的方法、基于扰动的方法以及基于类激活映射的方法。本专利技术与基于类激活映射的可视化方法相关。它们通常利用特征图的加权求和结果作为最终的可视化结果。CAM是最早提出的类激活映射方法，但它需要调整模型结构，插入一个全局平均池化层并重新训练，然后权重由模型的分类器部分给出，因此它的局限性较大，无法应用于所有的深度神经网络上。之后，改进方法Grad-CAM和Gra本文档来自技高网...

【技术保护点】
1.一种约束优化类激活映射的深度神经网络特征可视化方法，其特征在于：所述方法步骤具体如下：/n1)通过训练或下载获得一个用于图像分类的采用深度神经网络构建的预训练模型；/n2)使用预训练模型对一幅待测图像进行前向传递获得特征图A，并进一步处理获得最终权重向量；/n3)通过最终权重向量对步骤2)获得的特征图A的各分量进行加权求和，获得最终可视化特征图，作为最终深度神经网络特征可视化结果进行呈现。/n

【技术特征摘要】
1.一种约束优化类激活映射的深度神经网络特征可视化方法，其特征在于：所述方法步骤具体如下：
1)通过训练或下载获得一个用于图像分类的采用深度神经网络构建的预训练模型；
2)使用预训练模型对一幅待测图像进行前向传递获得特征图A，并进一步处理获得最终权重向量；
3)通过最终权重向量对步骤2)获得的特征图A的各分量进行加权求和，获得最终可视化特征图，作为最终深度神经网络特征可视化结果进行呈现。


2.根据权利要求1所述的一种约束优化类激活映射的深度神经网络特征可视化方法，其特征在于：所述步骤2)具体为：
2.1)针对一幅待测图像X，输入预训练模型进行前向传递获得特征图A，并且预训练模型处理过程中得到待测图像的预测向量y；
2.2)针对图像分类的类别c，初始化一个权重向量ωc，如下式所示：
ωc＝ReLU(αc)



其中，ωc为图像分类的第c个类别的权重向量，c为图像分类的类别序号，αc表示初步得到的待处理权重向量；Aij为特征图的坐标位置为(i,j)的像素值，i、j为特征图上的横纵坐标位置，y为预测向量，Z表示特征图上像素点的总数，ReLU表示取正值的操作；
2.3)对特征图A加权求和取正值后，获得热力图M，如下式所示：



其中，k为权重向量ωc中的权重值的序数，ωck为权重向量ωc中的第k个权重值，Ak为特征图中的第k个分量；特征图A中的分量总数和权重向量ωc中的权重值总数相同，特征图A的一个分量和权重向量ωc的一个权重值对应；
2.4)将热力图M和热力图M的取反图像1-M分别与待测图像X相乘，获得两幅中间图像E+和...

【专利技术属性】
技术研发人员：孔祥维，王鹏达，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33