本发明专利技术公开了一种深度神经网络鲁棒性增强方法、装置、系统及电子设备，包括：获取原始训练样本并进行预处理；利用随机信号对预处理后的原始训练样本实施常规变换，生成弱扩增样本；确定对深度神经网络采取的攻击策略，对预处理后的原始训练样本实施攻击性扰动，生成强扩增样本；将所述弱扩增样本和强扩增样本输入待加固的深度神经网络，获得相应的表征及预测结果；对所述弱扩增样本和强扩增样本实施一致性约束，构建以一致性约束为正则项的深度神经网络鲁棒性增强训练的目标函数；根据目标函数，对待加固的深度神经网络实施鲁棒性增强训练。本发明专利技术可以有效增强深度学习模型的鲁棒性，从而减小攻击性扰动以及常规扰动对深度学习模型造成的损失。习模型造成的损失。
【技术实现步骤摘要】
深度神经网络鲁棒性增强方法、装置、系统及电子设备
[0001]本申请涉及机器学习领域，具体涉及一种深度神经网络鲁棒性增强方法、装置、系统及 电子设备。
技术介绍
[0002]随着数据规模和计算能力的急速增长，深度学习在学术研究和商业推广中获得了广泛关 注和实施。然而，最新研究发现深度神经网络容易受到对抗样本攻击，即，在正常样本中添 加精心设计的不明显扰动，能够导致原本分类精度极高的深度神经网络彻底失效。
[0003]对抗样本给实际应用场景带来了巨大安全威胁，例如，在基于人脸识别的身份验证系统 中，攻击方可利用对抗样本非法获得授权；在自动驾驶场景中，攻击方可利用对抗样本误导 系统对交通信号的识别，等等。因此，提高深度神经网络在对抗样本攻击下的鲁棒性迫在眉 睫。
[0004]目前已经提出了多种增强深度神经网络鲁棒性的方法，这些方法大致可分为两类：
[0005](1)基于防御的方法：通过改变模型的网络结构、训练过程，以及对输入数据进行预处 理等方式，使深度神经网络在遭到对抗攻击时仍能准确将对抗样本分类。典型方法包括：对 抗训练、防御性降噪预处理、防御性蒸馏等。尽管这些方法已取得一定成效，但仍存在一些 不足：
①
基于对抗训练的防御方法，这些方法由于在训练中使用了大量训练样本，造成了对 于对抗样本的过度依赖，导致训练所得模型对特定类型的对抗样本有较好性能，但缺乏对训 练过程中未见类型的对抗样本和不同攻击强度对抗样本的适用性；
②
基于预处理的方法，由 于依赖于降噪操作而往往不可避免地降低了模型对良性样本的分类准确率；
③
防御性蒸馏方 法：被证明难以防御C&W等较强的对抗样本攻击。
[0006](2)基于检测的方法：通过学习对抗样本和常规样本之间的差别，正确识别出对抗样本， 通过拒绝对抗样本进入模型中达到防止干扰的目的。由于检测器从本质上来说是一个二分类 器：对良性样本和对抗样本进行区分，因此，无法进一步对对抗样本进行识别，一方面，容 易过拟合于对抗样本而误判受到轻微常规噪音扰动的输入数据；另一方面，基于检测的防御 方法仅能检测出训练过程中所使用过的特定类型对抗样本，泛化性较差，不能对多种干扰有 效。
技术实现思路
[0007]本申请实施例的目的是提供一种深度神经网络鲁棒性增强方法、装置、系统及电子设备， 该方法采用一致性约束，融入了图像变换随机化以及对抗训练的思想，以解决相关技术中存 在的泛化性差的技术问题，可以有效防御多种对抗样本，并可以对良性样本保持较高的分类 准确率，从而达到提高深度神经网络在应用中的鲁棒性和准确性。
[0008]根据本申请实施例的第一方面，提供一种深度神经网络鲁棒性增强方法，包括：
[0009]获取原始训练样本并进行预处理；
[0010]利用随机信号对预处理后的原始训练样本实施常规变换，生成弱扩增样本；
[0011]确定对深度神经网络采取的攻击策略，对预处理后的原始训练样本实施攻击性扰动，生 成强扩增样本；
[0012]将所述弱扩增样本和所述强扩增样本输入待加固的深度神经网络，获得相应的表征及预 测结果；
[0013]对所述弱扩增样本和所述强扩增样本实施一致性约束，构建以一致性约束为正则项的深 度神经网络鲁棒性增强训练的目标函数；
[0014]根据所述目标函数，对待加固的深度神经网络实施鲁棒性增强训练。
[0015]进一步地，所述常规变换选自矩阵翻转、截取、填充、遮挡，以及仿射变换。
[0016]进一步地，利用随机信号对预处理后的原始训练样本实施常规变换，生成弱扩增样本， 包括：
[0017]利用随机信号对所述常规变换进行选取、排列和组合；
[0018]将经过选取、排列和组合后的变换T
random_ccg
应用在预处理后的原始训练样本上，获得弱 扩增样本x
wAug
＝T
random_ccg
(x0)。
[0019]进一步地，确定对深度神经网络采取的攻击策略，对预处理后的原始训练样本实施攻击 性扰动，生成强扩增样本，包括：
[0020]当采取的攻击策略为非定向攻击时，根据下式对预处理后的原始训练样本实施攻击性扰 动：
[0021][0022]s.t.f(x0+δ)≠y
GT
[0023]其中，δ表示攻击性扰动的向量表示，p是范数取值，表示攻击性扰动的不易 察觉性，x0表示对原始训练样本进行预处理后的向量化表示，x0+δ表示在x0上叠加攻击性 扰动δ后合成的强扩增样本，f(x0+δ)≠y
G
T表示深度神经网络f将强扩增样本x0+δ分类为正 确类别y
GT
之外的类别，即，任意错误类别；
[0024]当采取的攻击策略为定向攻击时，根据下式对预处理后的样本实施攻击性扰动：
[0025][0026]s.t.f(x0+δ)＝y
target
[0027]其中，δ表示攻击性扰动的向量表示，p是范数取值，表示攻击性扰动的不易 察觉性，x0表示对原始训练样本进行预处理后的向量化表示，x0+δ表示在x0上叠加攻击性 扰动δ后合成的强扩增样本，f(x0+δ)＝y
target
表示深度神经网络f将强扩增样本x0+δ分类为 攻击者指定类别y
target
。
[0028]进一步地，将所述弱扩增样本和所述强扩增样本输入待加固的深度神经网络，获得相应 的表征及预测结果，包括：
[0029]在深度神经网络模型中选取预设层j，将弱扩增样本输入待加固的深度神经网络f，获得 其在所述预设层j的向量化表征以及预测结果f(x
wAug
)；
[0030]将强扩增样本输入待加固的深度神经网络f，获得其在所述预
设层j 的向量化表征以及预测结果f(x
sAug
)。
[0031]进一步地，对所述弱扩增样本和所述强扩增样本实施一致性约束，包括：
[0032]对弱扩增样本和强扩增样本基于深度神经网络的表征实施一致性约束，其形式化表示为：
[0033][0034]其中，D(a，b)表示a和b之间的距离度量，||
·
||2表示向量归一化；以及，
[0035]对深度神经网络对弱扩增样本和强扩增样本所作的预测实施一致性约束，其形式化表示 为：
[0036]l
con_pred
＝MSE(f(x
wAug
)，f(x
sAug
))，
[0037]其中，MSE(a，b)表示a和b之间的MSE误差。
[0038]进一步地，构建以一致性约束为正则项的深度神经网络鲁棒性增强训练的目标函数，包 括：
[0039]构建一致性正则项：
[0040][0041]构建以一致性约束为正则项的鲁棒性增强训练的目标函数：...
【技术保护点】
【技术特征摘要】
1.一种深度神经网络鲁棒性增强方法，其特征在于，包括：获取原始训练样本并进行预处理；利用随机信号对预处理后的原始训练样本实施常规变换，生成弱扩增样本；确定对深度神经网络采取的攻击策略，对预处理后的原始训练样本实施攻击性扰动，生成强扩增样本；将所述弱扩增样本和所述强扩增样本输入待加固的深度神经网络，获得相应的表征及预测结果；对所述弱扩增样本和所述强扩增样本实施一致性约束，构建以一致性约束为正则项的深度神经网络鲁棒性增强训练的目标函数；根据所述目标函数，对待加固的深度神经网络实施鲁棒性增强训练；其中，所述常规变换选自矩阵翻转、截取、填充、遮挡，以及仿射变换。2.如权利要求1所述的方法，其特征在于，利用随机信号对预处理后的原始训练样本实施常规变换，生成弱扩增样本，包括：利用随机信号对所述常规变换进行选取、排列和组合；将经过选取、排列和组合后的变换T
random_ccg
应用在预处理后的原始训练样本上，获得弱扩增样本x
wAug
＝T
random_ccg
(x0)。3.如权利要求1所述的方法，其特征在于，确定对深度神经网络采取的攻击策略，对预处理后的原始训练样本实施攻击性扰动，生成强扩增样本，包括：当采取的攻击策略为非定向攻击时，根据下式对预处理后的原始训练样本实施攻击性扰动：s.t.F(x0+δ)≠y
GT
其中，δ表示攻击性扰动的向量表示，p是范数取值，表示攻击性扰动的不易察觉性，x0表示对原始训练样本进行预处理后的向量化表示，x0+δ表示在x0上叠加攻击性扰动δ后合成的强扩增样本，f(x0+δ)≠y
GT
表示深度神经网络f将强扩增样本x0+δ分类为正确类别y
GT
之外的类别，即，任意错误类别；当采取的攻击策略为定向攻击时，根据下式对预处理后的样本实施攻击性扰动：s.t.F(x0+δ)＝y
target
其中，δ表示攻击性扰动的向量表示，p是范数取值，表示攻击性扰动的不易察觉性，x0表示对原始训练样本进行预处理后的向量化表示，x0+δ表示在x0上叠加攻击性扰动δ后合成的强扩增样本，f(x0+δ)＝y
target
表示深度神经网络f将强扩增样本x0+δ分类为攻击者指定类别y
target
。4.如权利要求1所述的方法，其特征在于，将所述弱扩增样本和所述强扩增样本输入待加固的深度神经网络，获得相应的表征及预测结果，包括：在深度神经网络模型中选取预设层j，将弱扩增样本输入待加固的深度神经网络f，获得其在所述预设层j的向量化表征以及预测结果f(x
wAug
)；
将强扩增样本输入待加固的深度神经网络f，获得其在所...
【专利技术属性】
技术研发人员：李卓蓉，金苍宏，石龙翔，吴明晖，张芸，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。