利用对抗补丁攻击神经网络视觉识别系统的方法和装置制造方法及图纸

本发明专利技术公开了一种利用对抗补丁攻击神经网络视觉识别系统的方法和装置。其中方法包括：获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；选取所述对抗样本集中任意一张图片，构造实体2D或3D对抗补丁；将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位置，将对所述对抗区域拍摄得到的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一或第二深层神经网络视觉识别系统的对抗攻击。本发明专利技术提供的方法可应用于物理环境下，通过灵活运用对抗补丁，实现多维对抗攻击，同时攻击实现较为方便、成本较低、对于专业人员的要求较低。业人员的要求较低。业人员的要求较低。

【技术实现步骤摘要】
利用对抗补丁攻击神经网络视觉识别系统的方法和装置


[0001]本申请涉及机器学习
，特别是涉及一种利用对抗补丁攻击神经网络视觉识别系统的方法和装置。

技术介绍

[0002]近年来的研究表明，先进的深层神经网络(DNNs)很容易受到对抗样本的攻击。在被检测物体中输入精心制作的小幅度的扰动，虽然这些扰动在人类视觉范围内不会造成明显影响，然而可以促使神经网络模型以较高的置信度作出错误的判断。与此同时，研究表明对抗样本存在“迁移性”，即通过一个深层神经网络模型生成的对抗样本，对未知的神经网络(参数未知，结构未知)也可以产生干扰，影响深度神经网络的识别结果。因此，攻击者不需要对被攻击的深层神经网络有深刻的了解，也可能成功对其进行攻击。研究者对对抗样本的攻击算法与防御算法的不断研究与优化，促使两种算法不断进步，从而大大提高了人工智能产品的安全性能，促进了人工智能的健康发展。
[0003]目前通过对抗样本对深层神经网络进行攻击主要有两种方式，即在整幅图像上全局添加扰动生成对抗样本，以及在图像特定区域局部添加扰动构造对抗补丁来生成对抗样本。在整幅图像上全局精心制作扰动的方法有基于梯度、基于优化、基于生成网络三种方式，这些传统方式生成的对抗样本与环境场景紧密不可分割，两者拥有较强的相关性。在物理世界中，例如自动驾驶的路标识别、人脸识别系统的刷脸支付，这些环境场景下，传统的方法是无法对背景环境添加扰动来生成对抗样本的。
[0004]对抗补丁是Brown等人首次提出的概念，即通过在整幅图像中的某一特定区域添加扰动促使深层神经网络产生误判。与传统在整幅图像上全局添加扰动的方式相比，对抗补丁与环境场景相对独立，具有更大的灵活性，因此往往能够有更多的应用。
[0005]并且近年来的对抗样本的研究，大多集中在实验环境层面的图像域，而对于现实的物理环境中的深层神经网络的对抗攻击，依然缺乏应用方便并且有效的攻击方法，并且现有的攻击方法攻击代价较大。

技术实现思路

[0006]基于此，针对上述技术问题，本专利技术实施例提供了一种利用对抗补丁攻击神经网络视觉识别系统的方法和装置。
[0007]为了达到上述专利技术目的，本专利技术实施例采用以下技术方案：
[0008]第一方面，提供了一种利用对抗补丁攻击神经网络视觉识别系统的方法，所述方法包括：
[0009]步骤一，获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；
[0010]步骤二，选取所述对抗样本集中任意一张图片，构造实体2D或3D对抗补丁；
[0011]步骤三，将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位
置，将对所述对抗区域拍摄得到的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统的对抗攻击。
[0012]优选地，步骤一中所述的第一深层神经网络视觉识别系统是神经网络分类模型ResNet50，所述对抗样本生成方法是PGD对抗攻击算法，所述算法的迭代次数设定为50。
[0013]进一步地，步骤二中，构造实体2D对抗补丁，是根据选取的图片，采用2D物体实体化方法得到实体2D对抗补丁；构造实体3D对抗补丁包括：根据选取的图片，采用3D建模方法构造3D模型，然后将所述3D模型通过人工实体制造的方法实体化，得到实体3D对抗补丁。
[0014]优选地，所述2D物体实体化方法包括印刷、喷绘或贴纸的方法；所述3D建模方法是多边形建模方法，所述人工实体制造的方法为3D打印机打印或依据建筑物的构造方法进行搭建的方法。
[0015]可选地，步骤三中所述的对所述对抗区域拍摄得到的图片，是通过人工使用相机拍照获得的或者是通过卫星拍照获得的。
[0016]进一步地，在步骤三之后，所述方法还包括：
[0017]步骤四，将所述实体2D或3D对抗补丁映射回原始2D空间，得到相应的对抗补丁图片，并调整映射后得到的对抗补丁图片大小；
[0018]步骤五，将调整后得到的对抗补丁图片输入到所述第一深层神经网络视觉识别系统，验证对抗补丁的攻击效果和稳定性。
[0019]进一步地，所述步骤四具体包括：
[0020]将经过实体化得到的所述实体2D或3D对抗补丁，通过相机拍摄转换为图片形式，得到对抗补丁图片，并将所述图片大小调整为第一深层神经网络视觉识别系统指定的输入大小。
[0021]第二方面，提供了一种利用对抗补丁攻击神经网络视觉识别系统的装置，所述装置包括：
[0022]对抗样本集生成模块，用于获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；
[0023]对抗补丁构造模块，用于选取所述对抗样本集中任意一张图片，构造实体2D或3D对抗补丁；
[0024]对抗攻击模块，用于将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位置，将对所述对抗区域拍摄得到的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统的对抗攻击。
[0025]第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行以下步骤：
[0026]获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；
[0027]选取并输出所述对抗样本集中任意一张图片，供用户构造实体2D或3D对抗补丁；
[0028]获取基于所述实体2D或3D对抗补丁重新拍摄的图片，所述重新拍摄的图片是将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位置后，对所述对抗区域
拍摄得到的；将所述重新拍摄的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统的对抗攻击。
[0029]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时执行以下步骤：
[0030]获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；
[0031]选取并输出所述对抗样本集中任意一张图片，供用户构造实体2D或3D对抗补丁；
[0032]获取基于所述实体2D或3D对抗补丁重新拍摄的图片，所述重新拍摄的图片是将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位置后，对所述对抗区域拍摄得到的；将所述重新拍摄的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统的对抗攻击。
[0033]本专利技术至少具有以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，所述方法包括：步骤一，获取原始样本集，将所述原始样本集作为第一深层神经网络视觉识别系统的输入，并采用对抗样本生成方法，获得对抗样本集；步骤二，选取所述对抗样本集中任意一张图片，构造实体2D或3D对抗补丁；步骤三，将所述实体2D或3D对抗补丁放置在现实物理环境下的对抗区域的设定位置，将对所述对抗区域拍摄得到的图片输入到第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统，实现对第一深层神经网络视觉识别系统或第二深层神经网络视觉识别系统的对抗攻击。2.根据权利要求1所述的利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，步骤一中所述的第一深层神经网络视觉识别系统是神经网络分类模型ResNet50，所述对抗样本生成方法是PGD对抗攻击算法，所述算法的迭代次数设定为50。3.根据权利要求1所述的利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，步骤二中，构造实体2D对抗补丁，是根据选取的图片，采用2D物体实体化方法得到实体2D对抗补丁；构造实体3D对抗补丁包括：根据选取的图片，采用3D建模方法构造3D模型，然后将所述3D模型通过人工实体制造的方法实体化，得到实体3D对抗补丁。4.根据权利要求3所述的利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，所述2D物体实体化方法包括印刷、喷绘或贴纸的方法；所述3D建模方法是多边形建模方法，所述人工实体制造的方法为3D打印机打印或依据建筑物的构造方法进行搭建的方法。5.根据权利要求1所述的利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，步骤三中所述的对所述对抗区域拍摄得到的图片，是通过人工使用相机拍照获得的或者是通过卫星拍照获得的。6.根据权利要求1所述的利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，在步骤三之后，所述方法还包括：步骤四，将所述实体2D或3D对抗补丁映射回原始2D空间，得到相应的对抗补丁图片，并调整映射后得到的对抗补丁图片大小；步骤五，将调整后得到的对抗补丁图片输入到所述第一深层神经网络视觉识别系统，验证对抗补丁的攻击效果和稳定性。7.根据权利要求6所述的利用对抗补丁攻击神经网络视觉识别系统的方法，其特征在于，所述步骤四具体包括：将经过实体化得到的所述实体2D或3D对抗补丁，...

【专利技术属性】
技术研发人员：靳宇馨，何召阳，刘兵，谢鑫，
申请(专利权)人：北京墨云科技有限公司，
类型：发明
国别省市：