一种基于区域信息的图像对抗样本生成方法及设备技术

本发明专利技术公开了一种基于区域信息的图像对抗样本生成方法及设备，所述方法包括：(1)将给定图像输入经过预训练的深度神经网络，由深度神经网络输出相应的预测图像；(2)在区域尺度上计算预测图像与目标图像的损失L

【技术实现步骤摘要】
一种基于区域信息的图像对抗样本生成方法及设备


[0001]本专利技术属于图像分割领域，具体涉及一种基于区域信息的图像对抗样本生成方法及设备。

技术介绍

[0002]深度学习目前在医疗领域已经取得了巨大的成就，如医学图像分割、病变组织检测、医学图像重构、辅助疾病诊断等等。目前有一种流行的理论提出，为了减轻医疗机构在人工方面的巨额开销(如医生、护士、领域专家等)，人们正在尝试用全自动化深度学习模型取代人工劳动力。然而在大多数医疗场景下，如医学图像分割任务中，只有少量的数据可以用来作为训练数据，而相对的深度学习模型却有极为庞大的参数，这将导致模型对训练数据产生记忆性，并对测试数据或者未知数据有较低的预测性。同时，因为深度学习模型的低可解释性，使其一直饱受“黑盒方案”的诟病，人们一直无法获取神经网络运行的准确运行逻辑。这在医学领域方面将会显得极为致命，因为通过医学设备获得的数据通常有较大的噪声，这将导致深度学习模型产生无法解释的错误，很多情况下会对医疗诊断造成很大的干扰。同时，近期的研究还表明，深度学习很容易被人为制造的，不易察觉的扰动影响，例如对抗攻击样本，这将带来非常大的医疗隐患，造成无法挽回的后果。
[0003]为了防止深度学习网络造成潜在的危险，需要一种方法去评估深度学习模型的稳定性，例如其在面对攻击样本时的鲁棒性。近期，在分割领域方面提出了一些对抗样本的生成方法，并用于评估预训练的深度学习模型的鲁棒性。例如Fast Gradient Sign Method(FGSM)以及Project Gradient Descend(PGD)这两个被广泛应用的对抗样本生成方法。然而，FGSM只进行了单次，像素维度的，沿着梯度方向的更新，这样的攻击方法往往对非线性模型(如大多数深度神经网络)影响有限。而PGD虽然应用了多步更新，但其仍然在图像分割领域上有较弱的攻击性。目前尚未有对图像分割领域较好的攻击方法，因此急需研发一种针对图像分割的，更加有效的对抗攻击方法，并在此基础上研究相应的防御手段以提高模型的鲁棒性。

技术实现思路

[0004]专利技术目的：针对现有技术的不足，本专利技术提出一种基于区域信息的图像对抗样本生成方法及设备，提升深度学习网络的鲁棒性。
[0005]技术方案：一种基于区域信息的图像对抗样本生成方法，包括以下步骤：
[0006](1)将给定图像输入经过预训练的深度神经网络，由深度神经网络输出相应的预测图像；
[0007](2)在区域尺度上计算预测图像与目标图像的损失L
RW
，并在像素尺度上计算预测图像与真实标签的损失L
dice
；
[0008](3)分别计算两个损失的梯度值并进行加权相加，得到干扰值，将干扰值作为噪声反向加到原输入图像中，通过迭代得到目标对抗样本。
[0009]进一步地，所述预测图像与目标图像的损失L
RW
计算方式如下：
[0010][0011][0012]其中，C为输入图像X中的目标数量，rrwmap是由输入图像生成的标签矩阵，其每一个元素代表着输入图像对应位置的像素i到其最近的目标c的区域Ω
c
边缘的像素b
ic
的距离。
[0013]进一步地，所述预测图像与真实标签的损失L
dice
计算方式如下：
[0014][0015]其中，N表示输入图像的像素数量，p
cn
表示像素n被分类为c的预测值，g
cn
表示像素n在分类c中的标签值。
[0016]进一步地，所述干扰值计算方式为：
[0017][0018]其中，r
m
表示第m轮迭代的干扰值，P
m
表示第m轮迭代的输入图像，G为标签，G
′
为期望的对抗目标，表示计算当前图像的梯度值。
[0019]进一步地，方法还包括：对所述干扰值进行Frobenius正则化，其中γ为决定每轮干扰值r
m
的权重，经过一轮迭代后，输入图像P
m
变为P
m+1
＝P
m
+r
′
m
。
[0020]进一步地，所述方法还包括：对每轮干扰后的像素进行切片处理以确保其落在[0,1]区间内，最终总的干扰为r＝∑
m
r
′
m
。
[0021]进一步地，所述深度神经网络采用CE
‑
Net或U
‑
Net。
[0022]本专利技术还提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如上所述的基于区域信息的图像对抗样本生成方法的步骤。
[0023]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于区域信息的图像对抗样本生成方法的步骤。
[0024]有益效果：本专利技术在像素尺度上，使用了一种被广泛应用的损失函数Dice Loss，通过迭代反向传播的方式施加扰动，使深度学习模型对图像中的每一个像素进行错误分类。同时，为了进一步干扰分割标签内的像素，使用了一种区域尺度上的损失函数Region Loss，加深标签内像素的干扰权重，影响整体的分割效果。在DRIVE以及CELL数据集上进行分割试验表明，本专利技术的方法在分割任务上的攻击效果相比传统攻击方法有了显著提高，同时对图像的扰动极小。
附图说明
[0025]图1为本专利技术的基于区域信息的图像对抗样本生成方法流程图。
具体实施方式
[0026]与分类任务不同，针对分割的对抗攻击样本在攻击深度学习模型时，需要让模型对输入图片的每一个像素进行错误识别。为达成这一目的，本专利技术使用了一种基于区域信息的密集对抗样本生成方法。为了对本专利技术的技术方案有更清楚的了解，首先对涉及的相关概念做出介绍。
[0027]对抗样本：对抗样本旨在图像上添加人眼不可识别的细微扰动使深度学习网络进行错误预测。将深度学习网络的分类器设为F(X,θ)，其中X为输入图片，θ为可训练的网络参数。对于给定标签Y的输入图片，可以生成一个对抗样本X
′
＝X+r，使得F(X,θ)＝Y，F(X
′
,θ)＝Y
′
，Y
′
≠Y。同时需要控制干扰r在一个相对小的范围使其不易被人眼察觉。
[0028]密集对抗样本生成方法(Dense Adversarial Generation，DAG)：在图像分割领域，对抗攻击的目的就是让预训练后的分割模型对每一个像素进行错误预测。在像素尺度上，DAG通过增大每个像素的预测值与对应标签值的距离，并缩小预测值与错误标签值的距离，来鼓励深度学习模型进行错误分割，其损失函数可以用下列公式表达：
[0029][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区域信息的图像对抗样本生成方法，其特征在于，包括以下步骤：(1)将给定图像输入经过预训练的深度神经网络，由深度神经网络输出相应的预测图像；(2)在区域尺度上计算预测图像与目标图像的损失L
RW
，并在像素尺度上计算预测图像与真实标签的损失L
dice
；(3)分别计算两个损失的梯度值并进行加权相加，得到干扰值，将干扰值作为噪声反向加到原输入图像中，通过迭代得到目标对抗样本。2.根据权利要求1所述的基于区域信息的图像对抗样本生成方法，其特征在于，所述预测图像与目标图像的损失L
RW
计算方式如下：计算方式如下：其中，C为输入图像X中的目标数量，rrwmap是由输入图像生成的标签矩阵，其每一个元素代表着输入图像对应位置的像素i到其最近的目标c的区域Ω
c
边缘的像素b
ic
的距离。3.根据权利要求1所述的基于区域信息的图像对抗样本生成方法，其特征在于，所述预测图像与真实标签的损失L
dice
计算方式如下：其中，N表示输入图像的像素数量，p
cn
表示像素n被分类为c的预测值，g
cn
表示像素n在分类c中的标签值。4.根据权利要求1所述的基于区域信息的图像对抗样本生成方法，其特征在于，所述干扰值计算方式为：其中，r
m
表示第m轮迭代的干扰值，P
m
表示第m轮迭代的输入图像，G为标签，G
...

【专利技术属性】
技术研发人员：张道强，沈奥，孙亮，徐梦婷，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：