一种对抗样本生成模型的构建方法及应用技术

技术编号:34857058 阅读:78 留言:0更新日期:2022-09-08 07:58
本发明专利技术公开了一种对抗样本生成模型的构建方法及应用,属于人工智能安全领域,所构建的模型包括级联的扰动模块和奖励计算模块;通过最大化图像样本集中的所有图像样本所对应的奖励的累积值,对对抗样本生成模型进行训练;当对抗样本生成模型训练完成后,扰动模块输出的扰动后的图像即为基于图像样本生成的对抗样本;本发明专利技术构建了一个基于强化学习的对抗样本生成模型,通过在对抗样本生成模型的训练过程中不断优化扰动值,使得查询朝向所期望的目标进行,规避了大量的重复查询,计算效率较高。除此之外,本发明专利技术所构建的模型并不依赖目标模型的梯度来生成对抗样本,实用性更强,适用范围更广。适用范围更广。适用范围更广。

【技术实现步骤摘要】
一种对抗样本生成模型的构建方法及应用


[0001]本专利技术属于人工智能安全领域,更具体地,涉及一种对抗样本生成模型的构建方法及应用。

技术介绍

[0002]随着人工智能的大规模应用,人工智能的安全问题逐渐成为限制人工智能应用规模的瓶颈,而人工智能安全中的对抗样本问题是保障人工智能安全中的关键问题,充分并高效的实现对抗样本的生成是实现人工智能安全的前提与要义。
[0003]为了更高效地生成神经网络中的对抗样本,需要通过一些算法对输入样本进行修改。其中,基于梯度的方法是一种有效的对抗样本生成算法,通过目标模型的梯度方向,指导对抗样本的生成过程,直到生成模型能够输出造成目标模型产生错误分类但与输入视觉相似的样本,即对抗样本。这种生成对抗样本的方法存在以下几个方面的问题,第一,由于基于梯度的方法需要沿梯度方向迭代修改样本以到达逃逸目的,因此,生成对抗样本时存在大量的重复查询,计算时间较长,计算效率较低;第二,该方法需要预先知晓目标模型的梯度,对模型梯度的依赖性较强,而现实应用中,目标模型的梯度是不可获取的;第三,该方法忽略了不同类别的图像在对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗样本生成模型的构建方法,其特征在于,包括以下步骤:S1、搭建对抗样本生成模型;所述对抗样本生成模型包括级联的扰动模块和奖励计算模块;所述扰动模块用于对图像样本进行扰动,得到扰动后的图像;所述奖励计算模块用于分别将扰动前和扰动后的图像输入到神经网络中进行目标检测,得到扰动前和扰动后的图像中的各目标类别及其对应的分类置信度;并计算扰动前和扰动后图像中各目标类别和对应分类置信度的变化,以及当前扰动前后和上一次扰动前后图像像素差异的比值,得到图像样本所对应的奖励;S2、将图像样本集输入到所述对抗样本生成模型中,通过最大化所述图像样本集中的所有图像样本所对应的奖励的累积值,对所述对抗样本生成模型进行训练;当所述对抗样本生成模型训练完成后,所述扰动模块输出的扰动后的图像即为基于图像样本生成的对抗样本;其中,所述图像样本集包括若干不同类别的图像样本及其对应的真实类别。2.根据权利要求1所述的对抗样本生成模型的构建方法,其特征在于,所述扰动模块包括级联的奇异值分解模块、强化学习模型和整合模块;所述奇异值分解模块用于对图像样本进行奇异值分解,得到图像样本的左奇异矩阵U、奇异值矩阵Σ和右奇异矩阵V;所述强化学习模型用于获取所述奇异值矩阵Σ的扰动值;所述整合模块用于基于所述奇异值矩阵Σ的扰动值对所述奇异值矩阵Σ进行扰动,得到扰动后的奇异值矩阵Σ';计算UΣ'V
T
,得到扰动后的图像。3.根据权利要求2所述的对抗样本生成模型的构建方法,其特征在于,所述奇异值分解模块用于对图像样本按照通道进行奇异值分解,得到图像样本不同通道下的左奇异矩阵、奇异值矩阵和右奇异矩阵;所述强化学习模型用于获取图像样本不同通道下的奇异值矩阵的扰动值;所述整合模块用于基于图像样本不同通道下的奇异值矩阵的扰动值分别对对应通道下的奇异值矩阵进行扰动,得到不同通道下扰动后的奇异值矩阵;计算得到扰动后的图像;其中,P为图像样本的通道数量;U
i
为图像样本第i个通道下的左奇异矩阵;Σ
i
'为图像样本第i个通道下扰动后的奇异值矩阵;V
i
为图像样本第i个通道下的右奇异矩阵。4.根据权利要求1所述的对抗样本生成模型的构建方法,其特征在于,所述扰动模块包括级联的目标提取模块、奇异值分解模块、强化学习模型和整合模块;所述目标提取模块用于提取图像样本中的目标区域,得到目标样本;所述奇异值分解模块用于对所述目标样本进行奇异值分解,得到所述目标样本的左奇异矩阵U
t
、奇异值矩阵Σ
t
和右奇异矩阵V
t
;所述强化学习模型用于获取所述奇异值矩阵Σ
t
的扰动值;所述整合模块用于基于所述奇异值矩阵Σ
t
的扰动值对所述奇异值矩阵Σ
t
进行扰动,得到扰动后的奇异值矩阵Σ'
t
;计算得到U
t
Σ
t
'V
tT
后,替换所述图像样本中的目标区域,得
到扰动后的图像。5.根据权利要求1

4任意一项所述的对抗样本生成模型的构建方法,其特征...

【专利技术属性】
技术研发人员:付才何帅刘铭冯冠云吕建强邓丰阳
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1