基于特征梯度的双阶段黑盒目标检测可解释性方法技术

本发明专利技术涉及一种基于特征梯度的双阶段黑盒目标检测可解释性方法，属于可信深度学习领域。该方法利用特征梯度思想，将目标检测的分类任务和回归任务拆解为两个子网络进行解释，通过特征梯度方法分别获得分类子网络和回归子网络的相关重要性。本发明专利技术能够从分类子网络和回归子网络两条路径解释网络行为，为每个识别结果提供网络依据，从而达到让黑盒模型透明化的目的。该方法以平滑特征梯度为入口，找到网络注意力的集中区域，并将该区域具体所作的贡献以人类容易理解的方式呈现，用网络中的知识来解释网络的行为。识来解释网络的行为。识来解释网络的行为。

【技术实现步骤摘要】
基于特征梯度的双阶段黑盒目标检测可解释性方法


[0001]本专利技术属于可信深度学习领域，涉及一种基于特征梯度的双阶段黑盒目标检测可解释性方法。

技术介绍

[0002]具备可解释性的黑盒双阶段目标检测模型可运用于对于识别的精准度敏感、对错误容忍度较低的领域，比如医疗、军事等领域。在医疗方面，目标检测技术通常被运用于全自动手术机器人系统中。机器人通过视觉传感器和运行目标检测系统的软件，经过模型运算得到手术目标位置及被框选手术目标的所属类别。在训练机器人目标检测模型时，运用目标检测模型的解释，我们可以检查模型的学习情况是否符合我们的预期，是否确实是通过目标的本真特征来识别出目标的所属类别而不是通过环境或背景特征推断得到。我们还可以检查模型寻找目标位置时，使用的特征是否合理，特征提供的目标位置信息是否正确(比如，如果手术的位置是肺部，那么肚脐部分的特征提供的位置信息应该是竖直向上的箭头，因为肺一定在肚脐的正上方)。在训练阶段，可解释性方法能作为检查训练情况的指标，保证模型的可信度。而在推理阶段，目标检测模型也可以在手术机器人进行手术时，实时生成模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征梯度的双阶段黑盒目标检测可解释性方法，其特征在于，利用特征梯度思想，将目标检测的分类任务和回归任务拆解为两个子网络进行解释，通过特征梯度方法分别获得分类子网络和回归子网络的相关重要性。2.根据权利要求1所述的双阶段黑盒目标检测可解释性方法，其特征在于，获得分类子网络的相关重要性，即解释目标识别分类子网络，具体包括以下步骤：S101：利用原始训练数据集对Faster R
‑
CNN网络模型进行训练，得到在该数据集上表现好的Faster R
‑
CNN模型；S102：从一个与步骤S101中采用的训练数据集具有相同分布、但样本不重叠的测试数据集中选取一个待解释原始图像I，输入到训练好的Faster R
‑
CNN网络模型f中，得到原图样本的识别结果f(I)＝p
I
；其中，p
I
是目标属于此分类的概率；S103：使用高斯噪声模型对输入图像I进行扰动，生成k个扰动样本I1,I2,
…
,I
i
,
…
,I
k
；将所有扰动样本输入到训练好的Faster R
‑
CNN网络中进行推理，得到k个扰动样本的识别结果f(I1),f(I2),
…
,f(I
i
),
…
,f(I
k
)；S104：将所有识别结果看作因变量，对原图I求解平滑特征梯度；将所有识别结果的梯度矩阵求均值，得到分类子网络的重要性梯度矩阵；S105：对分类重要性梯度矩阵进行归一化处理，使得重要性矩阵的值在0～255范围内，使得网络关注的区域具有更深的颜色；S106：将分类重要性分数矩阵转换成图像，覆盖至原图I上，生成分类子网络的最终解释。3.根据权利要求1所述的双阶段黑盒目标检测可解释性方法，其特征在于，步骤S103中，利用高斯噪声模型在原图I上进行扰动，即生成的任意扰动样本在原图I上进行扰动，即生成的任意扰动样本其中，是噪声的关联系数。4.根据权利要求3所述的双阶段黑盒目标检测可解释性方法，其特征在于，步骤S104中，使用平滑特征梯度方法求解出分类子网络的重要性梯度矩阵，求解公式为：中，使用平滑特征梯度方法求解出分类子网络的重要性梯度矩阵，求解公式为：其中，M
c
(I)表示目标检测网络的输出对输入图像的梯度矩阵，I
ij
表示原图I中的每个像素，k表示高斯噪声扰动的样本容量。5.根据权利要1所述的双阶段黑盒目标检测可解释性方法，其特征在于，获得回归子网络的相关重要性，即解释目标位置回归子网络，具体包括以下步骤：S201：选取原始图像I，输入到训练好的Faster R
‑
CNN网络模型f中，得到原图样本的...

【专利技术属性】
技术研发人员：米建勋，蒋希来，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：