基于特征梯度的双阶段黑盒目标检测可解释性方法技术

本发明专利技术涉及一种基于特征梯度的双阶段黑盒目标检测可解释性方法，属于可信深度学习领域。该方法利用特征梯度思想，将目标检测的分类任务和回归任务拆解为两个子网络进行解释，通过特征梯度方法分别获得分类子网络和回归子网络的相关重要性。本发明专利技术能够从分类子网络和回归子网络两条路径解释网络行为，为每个识别结果提供网络依据，从而达到让黑盒模型透明化的目的。该方法以平滑特征梯度为入口，找到网络注意力的集中区域，并将该区域具体所作的贡献以人类容易理解的方式呈现，用网络中的知识来解释网络的行为。识来解释网络的行为。识来解释网络的行为。

【技术实现步骤摘要】
基于特征梯度的双阶段黑盒目标检测可解释性方法


[0001]本专利技术属于可信深度学习领域，涉及一种基于特征梯度的双阶段黑盒目标检测可解释性方法。

技术介绍

[0002]具备可解释性的黑盒双阶段目标检测模型可运用于对于识别的精准度敏感、对错误容忍度较低的领域，比如医疗、军事等领域。在医疗方面，目标检测技术通常被运用于全自动手术机器人系统中。机器人通过视觉传感器和运行目标检测系统的软件，经过模型运算得到手术目标位置及被框选手术目标的所属类别。在训练机器人目标检测模型时，运用目标检测模型的解释，我们可以检查模型的学习情况是否符合我们的预期，是否确实是通过目标的本真特征来识别出目标的所属类别而不是通过环境或背景特征推断得到。我们还可以检查模型寻找目标位置时，使用的特征是否合理，特征提供的目标位置信息是否正确(比如，如果手术的位置是肺部，那么肚脐部分的特征提供的位置信息应该是竖直向上的箭头，因为肺一定在肚脐的正上方)。在训练阶段，可解释性方法能作为检查训练情况的指标，保证模型的可信度。而在推理阶段，目标检测模型也可以在手术机器人进行手术时，实时生成模型的解释。这个解释可以用于监控模型的运行情况，检查运行期间的分类、位置查找的相关决策是否正确，是否运用正确的特征。此外，还能通过分类的解释给出人类医生相关信息：病人病变在什么位置，发生了什么样的病变，发生这样的病变是网络通过哪些部位推导出的。在推理时运用目标检测可解释性，既能监控模型的运行情况，保证其可靠性；又能给予人类医生额外的信息参考用于更精准的病人诊断。
[0003]深度黑盒网络的可解释性研究主要集中在运用最广泛的深度卷积网络上。这些可解释性方法的研究主体是目标识别任务，旨在从网络本身特点或者数学原理层面出发，对网络生成的目标类别做出解释。而在目标检测任务中，网络不仅需要推理出输入图像中出现的目标的类别，还需要通过提取到的特征推理出目标所在的图像中的边界位置。显然，相较于目标识别任务，目标检测任务具有更大的复杂性。而目标检测网络通常以黑盒的深度卷积神经网络为核心，因此针对目标检测网络的可解释性研究相比于针对目标识别网络的可解释性研究更具挑战性。
[0004]根据解释方式的不同，针对深度卷积神经网络的可解释性方法可以分为两个大类：局部可解释性方法和全局可解释性方法。局部可解释性方法以单个输入样本为研究对象，通过特征重要性、规则集合、显著图、模板特征和示例特征等方法对网络行为进行解释。全局可解释性方法则直接对模型参数进行研究，通过局部解释集合、模型蒸馏等方法对网络模型进行解释。
[0005]领域中针对于目标检测的可解释性研究相对稀少，仅有的几项基于局部的可解释性方法或需要对输入特征进行穷举，或需要额外训练一个网络来提取可解释特征。因此，这些方法的解释效率相对较低。另外，上述方法的解释均将目标检测网络视为一个整体，没有将分类子网络和回归子网络进行分别解释。使用者只能知道目标检测模型是否存在问题，
但是并不能更完整、更细粒度地探究问题。还有一些目标检测网络采用了较为复杂的数学模型来展示网络的解释，为其工业化应用设置了门槛，限制了可解释性方法的易用性和直观性。
[0006]因此，亟需专利技术一种新的双阶段黑盒目标检测可解释性方法来解决以下问题：1)现有的目标检测可解释性方法缺少对分类子网络和回归子网络的独立解释；2)现有目标检测可解释性方法需要训练额外的网络，或需要大量的运算。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种基于特征梯度的双阶段黑盒目标检测可解释性方法，分别展示网络分类的原因和网络能定位目标位置的原因，从而使得黑盒的目标检测模型更透明。
[0008]为达到上述目的，本专利技术提供如下技术方案：
[0009]一种基于特征梯度的双阶段黑盒目标检测可解释性方法，利用特征梯度思想，将目标检测的分类任务和回归任务拆解为两个子网络进行解释，通过特征梯度方法分别获得分类子网络和回归子网络的相关重要性。
[0010]进一步，获得分类子网络的相关重要性，即解释目标识别分类子网络，具体包括以下步骤：
[0011]S101：利用原始训练数据集对Faster R
‑
CNN网络模型进行训练，得到在该数据集上表现较好的Faster R
‑
CNN模型；
[0012]S102：从一个与步骤S101中采用的训练数据集具有相同分布、但样本不重叠的测试数据集中选取一个待解释原始图像I，输入到训练好的Faster R
‑
CNN网络模型f中，得到原图样本的识别结果f(I)＝p
I
；其中，c
I
是目标的分类，p
I
是目标属于此分类的概率；
[0013]S103：使用高斯噪声模型对输入图像I进行扰动，生成k个扰动样本I1,I2,
…
,I
i
,
…
,I
k
；将所有扰动样本输入到训练好的Faster R
‑
CNN网络中进行推理，得到k个扰动样本的识别结果f(I1),(I2),
…
,(I
i
),
…
,(I
k
)；
[0014]S104：将所有(原图样本和扰动样本)识别结果看作因变量，对原图I求解平滑特征梯度；将所有识别结果的梯度矩阵求均值，得到分类子网络的重要性梯度矩阵；
[0015]S105：对分类重要性梯度矩阵进行归一化处理，使得重要性矩阵的值在0～255范围内，使得网络关注的区域具有更深的颜色；
[0016]S106：将分类重要性分数矩阵转换成图像，覆盖至原图I上，生成分类子网络的最终解释。
[0017]进一步，步骤S103中，利用高斯噪声模型在原图I上进行扰动，即生成的任意扰动样本其中，是噪声的关联系数，它控制噪声对原图的影响，应不让网络的识别结果发生变化。
[0018]进一步，步骤S104中，使用平滑特征梯度方法求解出分类子网络的重要性梯度矩阵，求解公式为：
[0019][0020][0021]其中，
c
()表示目标检测网络的输出对输入图像的梯度矩阵，I
ij
表示原图I中的每个像素，k表示高斯噪声扰动的样本容量。
[0022]进一步，步骤S105中，采用了最大最小值归一化来将矩阵中的重要性值限制在RGB像素值0～255中。最大最小值归一化如下所示。
[0023][0024]其中，是矩阵中的最大值，而是矩阵中的最小值。
[0025]进一步，步骤S106中，生成的图像成为网络注意力点云。点云中像素值较深的区域是分类子网络进行判别时更关注的区域，在原图上表现为颜色更深的区域。
[0026]进一步，获得回归子网络的相关重要性，即解释目标位置回归子网络，具体包括以下步骤：
[0027]S201：选取与步骤S101中采用的相同原始图像I，输入到训练好的Faster本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征梯度的双阶段黑盒目标检测可解释性方法，其特征在于，利用特征梯度思想，将目标检测的分类任务和回归任务拆解为两个子网络进行解释，通过特征梯度方法分别获得分类子网络和回归子网络的相关重要性。2.根据权利要求1所述的双阶段黑盒目标检测可解释性方法，其特征在于，获得分类子网络的相关重要性，即解释目标识别分类子网络，具体包括以下步骤：S101：利用原始训练数据集对Faster R
‑
CNN网络模型进行训练，得到在该数据集上表现好的Faster R
‑
CNN模型；S102：从一个与步骤S101中采用的训练数据集具有相同分布、但样本不重叠的测试数据集中选取一个待解释原始图像I，输入到训练好的Faster R
‑
CNN网络模型f中，得到原图样本的识别结果f(I)＝p
I
；其中，p
I
是目标属于此分类的概率；S103：使用高斯噪声模型对输入图像I进行扰动，生成k个扰动样本I1,I2,
…
,I
i
,
…
,I
k
；将所有扰动样本输入到训练好的Faster R
‑
CNN网络中进行推理，得到k个扰动样本的识别结果f(I1),f(I2),
…
,f(I
i
),
…
,f(I
k
)；S104：将所有识别结果看作因变量，对原图I求解平滑特征梯度；将所有识别结果的梯度矩阵求均值，得到分类子网络的重要性梯度矩阵；S105：对分类重要性梯度矩阵进行归一化处理，使得重要性矩阵的值在0～255范围内，使得网络关注的区域具有更深的颜色；S106：将分类重要性分数矩阵转换成图像，覆盖至原图I上，生成分类子网络的最终解释。3.根据权利要求1所述的双阶段黑盒目标检测可解释性方法，其特征在于，步骤S103中，利用高斯噪声模型在原图I上进行扰动，即生成的任意扰动样本在原图I上进行扰动，即生成的任意扰动样本其中，是噪声的关联系数。4.根据权利要求3所述的双阶段黑盒目标检测可解释性方法，其特征在于，步骤S104中，使用平滑特征梯度方法求解出分类子网络的重要性梯度矩阵，求解公式为：中，使用平滑特征梯度方法求解出分类子网络的重要性梯度矩阵，求解公式为：其中，M
c
(I)表示目标检测网络的输出对输入图像的梯度矩阵，I
ij
表示原图I中的每个像素，k表示高斯噪声扰动的样本容量。5.根据权利要1所述的双阶段黑盒目标检测可解释性方法，其特征在于，获得回归子网络的相关重要性，即解释目标位置回归子网络，具体包括以下步骤：S201：选取原始图像I，输入到训练好的Faster R
‑
CNN网络模型f中，得到原图样本的...

【专利技术属性】
技术研发人员：米建勋，蒋希来，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：