神经网络的可视化方法、装置、电子设备和介质制造方法及图纸

本公开的实施例公开了神经网络的可视化方法、装置、电子设备和介质。该方法的一具体实施方式包括：确定输入图片在神经网络的目标层输出的特征地图；确定目标类别关于该特征地图的梯度地图；基于该梯度地图，确定类别权重和空间权重，该类别权重表示该神经网络在该输入图片和该目标类别下对该特征地图的类别注意力情况，该空间权重表示该神经网络在该输入图片和该目标类别下对该特征地图的空间注意力情况；基于该类别权重和该空间权重，生成该特征地图上该目标类别的可视化地图。该实施方式通过可视化地图的指示区域作为模型产生当前输出的依据，从而可以实现对模型的解释。

【技术实现步骤摘要】
神经网络的可视化方法、装置、电子设备和介质
本公开的实施例涉及计算机
，具体涉及神经网络的可视化方法、装置、电子设备和介质。
技术介绍
近年来，基于卷积神经网络的深度学习模型发展迅速，在许多计算机视觉任务上不断取得突破性的进展。虽然深度模型具有极佳的运行性能和泛化能力，但是与传统的统计视觉模型相比，深度模型较难被显式分解为可理解的结构组分，因而导致整体上缺乏可解释性。
技术实现思路
本
技术实现思路
部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例的目的在于提出一种改进的神经网络的可视化方法、装置、电子设备和介质，来解决以上
技术介绍
部分提到的技术问题。第一方面，本公开的一些实施例提供了一种神经网络的可视化方法，该方法包括：确定输入图片在神经网络的目标层输出的特征地图；确定目标类别关于上述特征地图的梯度地图；基于上述梯度地图，确定类别权重和空间权重，上述类别权重表示上述神经网络在上述输入图片和上述目标类别下对上述特征地图的类别注意力情况，上述空间权重表示上述神经网络在上述输入图片和上述目标类别下对上述特征地图的空间注意力情况；基于上述类别权重和上述空间权重，生成上述特征地图上上述目标类别的可视化地图。第二方面，本公开的一些实施例提供了一种神经网络的可视化装置，装置包括：第一确定单元，被配置成确定输入图片在神经网络的目标层输出的特征地图；第二确定单元，被配置成确定目标类别关于上述特征地图的梯度地图；第三确定单元，被配置成基于上述梯度地图，确定类别权重和空间权重，上述类别权重表示上述神经网络在上述输入图片和上述目标类别下对上述特征地图的类别注意力情况，上述空间权重表示上述神经网络在上述输入图片和上述目标类别下对上述特征地图的空间注意力情况；生成单元，被配置成基于上述类别权重和上述空间权重，生成上述特征地图上上述目标类别的可视化地图。第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一的方法。第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一的方法。本公开的上述各个实施例中的一个实施例具有如下有益效果：首先，确定输入图片在神经网络的目标层输出的特征地图。其次，确定目标类别关于上述特征地图的梯度地图。然后，基于梯度地图，确定类别权重和空间权重，上述类别权重表示上述神经网络在上述输入图片和上述目标类别下对上述特征地图的类别注意力情况，上述空间权重表示上述神经网络在上述输入图片和上述目标类别下对上述特征地图的空间注意力情况。最后，基于上述类别权重和上述空间权重，生成上述特征地图上上述目标类别的可视化地图。通过可视化地图的指示区域作为模型产生当前输出的依据，从而可以实现对模型的解释。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1是根据本公开的一些实施例的神经网络的可视化方法的一个应用场景的示意图；图2是根据本公开的神经网络的可视化方法的一些实施例的流程图；图3是根据本公开的神经网络的可视化方法的又一些实施例的流程图；图4是根据本公开的神经网络的可视化装置的一些实施例的结构示意图；图5是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。下面将参考附图并结合实施例来详细说明本公开。图1是根据本公开的一些实施例的神经网络的可视化方法的一个应用场景的示意图。在如图1的应用场景中所示，首先，神经网络的可视化方法的执行主体可以是服务器101。首先，服务器101可以确定输入图片102在神经网络的目标层输出的特征地图103。其次，确定目标类别104关于特征地图103的梯度地图105。基于梯度地图105，确定类别权重106和空间权重107，其中，类别权重106表示上述神经网络在输入图片102和目标类别104下对上述特征地图103的类别注意力情况，空间权重107表示上述神经网络在输入图片102和目标类别104下对特征地图103的空间注意力情况。基于类别权重106和空间权重107，生成特征地图103上目标类别104的可视化地图108。可以理解的是，神经网络的可视化方法可以是由服务器101来执行，或者也可以是由其它设备来执行，或者还可以是各种软件程序来执行。其中，服务器101例如可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。此外，执行主体也可以体现为服务器、软件等。当执行主体为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。应该理解，图1中的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的服务器。继续参考图2，示出了根据本公开的神经网络的可视化方法的一些实施例的流程200。该神经网络的可视化方法，包括以下步骤：步骤201，确定输入图片在神经网络的目标层输出的特征地图。在一些实施例中，神经网络的可视化方法的执行主体(例如，图1所示的服务器101)可以确定输入图片在神经网络的目标层输出的特征地图。上述输入图片可以是本地的图片，也可以是从网络上下载的图片。上述特征地图可以是可以是一个三维的向量。上述目标层通常是指从上述神经网络中的选出的一层卷积神经网络。在一些实施例的一些可选的实现方式中，将上述输入图片通过上述神经网络的目标层卷积神经网络中，得到上述特征地图，其中，上述神经网络包括至少一层卷积神经网络。上述神经网络可以是一个分类模型，也可以是一个回归任务模型。上述分类模型可以是一个分类器。上述分类器可以是argmax函数，上述argmax函数是对函数求参数(集合)的函数。步骤202，确定目本文档来自技高网...

【技术保护点】
1.一种神经网络的可视化方法，包括：/n确定输入图片在神经网络的目标层输出的特征地图；/n确定目标类别关于所述特征地图的梯度地图；/n基于梯度地图，确定类别权重和空间权重，所述类别权重表示所述神经网络在所述输入图片和所述目标类别下对所述特征地图的类别注意力情况，所述空间权重表示所述神经网络在所述输入图片和所述目标类别下对所述特征地图的空间注意力情况；/n基于所述类别权重和所述空间权重，生成所述特征地图上所述目标类别的可视化地图。/n

【技术特征摘要】
1.一种神经网络的可视化方法，包括：
确定输入图片在神经网络的目标层输出的特征地图；
确定目标类别关于所述特征地图的梯度地图；
基于梯度地图，确定类别权重和空间权重，所述类别权重表示所述神经网络在所述输入图片和所述目标类别下对所述特征地图的类别注意力情况，所述空间权重表示所述神经网络在所述输入图片和所述目标类别下对所述特征地图的空间注意力情况；
基于所述类别权重和所述空间权重，生成所述特征地图上所述目标类别的可视化地图。


2.根据权利要求1所述的方法，其中，所述确定输入图片在神经网络的目标层输出的特征地图，包括：
将所述输入图片通过所述神经网络的目标层卷积神经网络中，得到所述特征地图，其中，所述神经网络包括至少一层卷积神经网络。


3.根据权利要求1所述的方法，其中，所述确定目标类别关于所述特征地图的梯度地图，包括：
将所述输入图片输入所述神经网络的目标层，得到目标值；
基于所述目标值，生成所述目标分数；
基于所述特征地图和目标分数，生成所述梯度地图。


4.根据权利要求3所述的方法，其中，所述基于所述目标值，生成所述目标分数，包括：
响应于所述神经网络是分类模型，将所述目标值和所述目标类别对应的单值向量相乘，得到目标分数。


5.根据权利要求3所述的方法，其中，所述基于所述目标值，生成所述目标分数，包括：
响应于所述神经网络是回归任务模型，确定所述目标值是否大于预设的真实值；
响应于所述目标值大于所述真实值，将所述目标值和第一单值向量相乘，得到第一分数，将所述第一分数作为所述目标分数。


6.根据权利要求5所述的方法，其中，所述基于所述目标值，生成所述目标分数，包括：
响应于所述目标值小于等于所述真实值，将所述目标值和第二单值向量相乘，得到第二分数，将所述第二分数作为所述目标分数。


7.根据权利要求1所述的方法，其中，所述类别权重是通过以下步骤确定的：
基于所述梯度地图、所述特征地图的长度信息和宽度信息，生成所述类别权重，其中，所述特征地图的长度信息与所述输入图片的长度信息相同，所述特征地图的宽度信息与所述输入图片的宽度信息相同。


8.根据权利要求1所述的方法，其中，所述空间权重是通过以下步骤确定的：
基于所述梯度地图和所述特征地图的通道数量信息，生成所述空间权重，其中，所述特征地图的通道数量信息与所述输入图片的通道数量信息相同。


9.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：孔涛，马晓健，李磊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11