对抗样本的生成方法、装置、电子设备、介质和程序产品制造方法及图纸

本公开提供了一种对抗样本的生成方法、装置、电子设备、介质和程序产品，涉及计算机技术领域，尤其涉及计算机视觉、目标检测和自动驾驶领域。具体实现方案为：对抗样本的生成方法，包括：获取初始图像集，所述初始图像集中的图像包括目标区域，所述目标区域包括目标对象的图像内容；确定所述初始图像集中每一张图像中的扰动区域，第一图像中扰动区域的第一属性信息与第二图像中的扰动区域的第一属性信息相匹配，所述第一图像和所述第二图像为所述初始图像集中的任意两张图像；对所述初始图像集中的每一张图像的扰动区域中添加扰动信息，得到对抗样本集。本公开可以提高对抗样本的生成效果。果。果。

【技术实现步骤摘要】
对抗样本的生成方法、装置、电子设备、介质和程序产品


[0001]本公开涉及计算机
，尤其涉及计算机视觉、目标检测和自动驾驶领域。具体涉及一种对抗样本的生成方法、装置、电子设备、介质和程序产品。

技术介绍

[0002]对抗攻击是指通过在干净的样本上添加人类难以察觉的微小扰动来诱导模型发生错误决策的技术。其中，所生成的可导致模型发生错误决策的样本称之为对抗样本。相关技术中，为了生成对抗样本，通常是人为在干净的样本中施加扰动，以得到对抗样本。

技术实现思路

[0003]本公开提供了一种对抗样本的生成方法、装置、电子设备、介质和程序产品。
[0004]根据本公开的第一方面，提供了一种对抗样本的生成方法，包括：
[0005]获取初始图像集，所述初始图像集中的图像包括目标区域，所述目标区域包括目标对象的图像内容；
[0006]确定所述初始图像集中每一张图像中的扰动区域，其中，所述扰动区域位于所述目标区域内，第一图像中扰动区域的第一属性信息与第二图像中的扰动区域的第一属性信息相匹配，所述第一图像和所述第二图像为所述初始图像集中的任意两张图像，所述第一属性信息包括以下至少一项：所述扰动区域的位置属性信息和所述扰动区域的形态属性信息；
[0007]对所述初始图像集中的每一张图像的扰动区域中添加扰动信息，得到对抗样本集。
[0008]根据本公开的第二方面，提供了一种对抗样本的生成装置，包括：
[0009]获取模块，用于获取初始图像集，所述初始图像集中的图像包括目标区域，所述目标区域包括目标对象的图像内容；
[0010]确定模块，用于确定所述初始图像集中每一张图像中的扰动区域，其中，所述扰动区域位于所述目标区域内，第一图像中扰动区域的第一属性信息与第二图像中的扰动区域的第一属性信息相匹配，所述第一图像和所述第二图像为所述初始图像集中的任意两张图像，所述第一属性信息包括以下至少一项：所述扰动区域的位置属性信息和所述扰动区域的形态属性信息；
[0011]生成模块，用于对所述初始图像集中的每一张图像的扰动区域中添加扰动信息，得到对抗样本集。
[0012]根据本公开的第三方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
[0016]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
[0017]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
[0018]本公开实施例中，通过确定初始图像集中每一张图像中的扰动区域，并在每张图像的扰动区域中添加扰动信息，从而得到对抗样本集。由于初始图像集中的图像均包括目标对象的图像内容，因此，采用本公开的方法可以实现针对同一目标对象生成多张不同的对抗样本。这样，后续在基于对抗样本集中的对抗样本对模型进行训练时，模型可以学习不同场景中目标对象的特征信息，以便于训练得到的模型能够在不同场景下均能够准确的识别目标对象。可见，采用本公开提供的方法有利于提高对抗样本的生成效果。
附图说明
[0019]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0020]图1是本公开实施例提供的一种对抗样本的生成方法的流程图；
[0021]图2是本公开实施例提供的一种对抗样本的生成装置的结构示意图；
[0022]图3是本公开实施例提供的确定模块的结构示意图；
[0023]图4是本公开实施例提供的生成模块的结构示意图；
[0024]图5是本公开实施例提供的添加子模块的结构示意图；
[0025]图6本公开实施例提供的用于实现对抗样本的生成方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]请参见图1，图1为本公开实施例提供的一种对抗样本的生成方法的流程示意图，所述对抗样本的生成方法包括以下步骤：
[0028]步骤S101、获取初始图像集，所述初始图像集中的图像包括目标区域，所述目标区域包括目标对象的图像内容。
[0029]其中，所述初始图像集可以包括至少两张对所述目标对象进行拍摄得到的图像，且所述初始图像集中不同图像之间均存在区别。例如，所述初始图像集中可以包括不同拍摄场景下对所述目标对象进行拍摄得到的图像。此外，所述初始图像集还可以包括采用不同的拍摄参数对所述目标对象进行拍摄得到的图像。
[0030]上述目标对象可以是自动驾驶场景中自动驾驶车辆外部的各种类型的对象，例如，所述目标对象可以是自动驾驶车辆外部的其他车辆、自动驾驶车辆外部的行人、自动驾驶车辆外部的其他障碍物等各种类型的驾驶环境因素。
[0031]上述目标区域即图像中目标对象的图像内容所形成的区域，例如，当所述目标对象为车辆时，所述目标区域为图像中车辆图案所形成的区域。
[0032]在生成对抗样本的过程中，可以在所述扰动区域添加扰动信息，以得到对抗样本。
例如，可以通过将扰动图像覆盖图像中的扰动区域，以得到对抗样本。其中，所述对抗样本是指可以使模型失效的样本，例如，当所述目标对象为车辆，且所述对抗样本为用于对车辆进行识别的识别模型进行训练的样本时，在将所述初始图像集中的任意一张图像输入所述识别模型时，所述识别模型均可以输出“图像中包含车辆”的识别结果。然而，在基于本公开的方法生成对抗样本之后，在将所述对抗样本输入所述识别模型之后，所述识别模型将输出错误的识别结果，如输出“图像中不包含车辆”的识别结果，或者，识别模型将对抗样本中的车辆识别为除车辆之外的其他对象。
[0033]步骤S102、确定所述初始图像集中每一张图像中的扰动区域，其中，所述扰动区域位于所述目标区域内，第一图像中扰动区域的第一属性信息与第二图像中的扰动区域的第一属性信息相匹配，所述第一图像和所述第二图像为所述初始图像集中的任意两张图像，所述第一属性信息包括以下至少一项：所述扰动区域的位置属性信息和所述扰动区域的形态属性信息。
[0034]其中，由于初始图像集中的不同图像中目标对象的位置、大小或姿态等可能存在区别。因此，在基于所述初始图像集中的图像生成对抗样本时，可以以每张图像中的目标区域为参照，在目标区域中确定扰动区域。
[0035]具体地，上述第一图像中扰动区域的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗样本的生成方法，包括：获取初始图像集，所述初始图像集中的图像包括目标区域，所述目标区域包括目标对象的图像内容；确定所述初始图像集中每一张图像中的扰动区域，其中，所述扰动区域位于所述目标区域内，第一图像中扰动区域的第一属性信息与第二图像中的扰动区域的第一属性信息相匹配，所述第一图像和所述第二图像为所述初始图像集中的任意两张图像，所述第一属性信息包括以下至少一项：所述扰动区域的位置属性信息和所述扰动区域的形态属性信息；对所述初始图像集中的每一张图像的扰动区域中添加扰动信息，得到对抗样本集。2.根据权利要求1所述的方法，其中，所述第一图像的目标区域中预先标记有扰动区域，所述确定所述初始图像集中每一张图像中的扰动区域，包括：基于所述第一图像中的扰动区域，确定所述初始图像集中每一张图像中的扰动区域。3.根据权利要求1所述的方法，其中，所述位置属性信息包括所述扰动区域与所述目标区域的相对位置，所述形态属性信息包括所述扰动区域与所述目标区域的相对大小。4.根据权利要求1所述的方法，其中，所述初始图像集包括至少一个图像组，所述图像组包括至少两张对所述目标对象进行拍摄的图像，且所述图像组中的不同图像中的目标区域的尺寸不同；其中，所述第一图像属于所述初始图像集中的一个图像组。5.根据权利要求4所述的方法，其中，所述初始图像集包括至少两个图像组，所述至少两个图像组中的不同图像组对应的拍摄场景不同，且同一图像组中的不同图像的拍摄场景相同。6.根据权利要求2所述的方法，其中，所述基于所述第一图像中的扰动区域，确定所述初始图像集中每一张图像中的扰动区域，包括：获取所述第一图像中的目标区域的第二属性信息、所述第一图像中的扰动区域的第二属性信息和所述第二图像中的目标区域的第二属性信息，所述第二属性信息包括位置属性信息和尺寸属性信息；基于所述第一图像中的目标区域的尺寸属性信息和所述第一图像中的扰动区域的尺寸属性信息，确定缩放比例；基于所述第一图像中的目标区域的第二属性信息、所述第一图像中的扰动区域的第二属性信息、所述第二图像中的目标区域的第二属性信息和所述缩放比例，确定所述第二图像中的扰动区域的第二属性信息。7.根据权利要求2所述的方法，其中，所述第一图像为所述初始图像集中，所述目标区域的尺寸最大的图像。8.根据权利要求1所述的方法，其中，所述对所述初始图像集中的每一张图像的扰动区域中添加扰动信息，得到对抗样本集，包括：在第三图像中的扰动区域添加初始扰动信息，得到初始对抗样本，所述第三图像为所述初始图像集中的任意图像；将所述初始对抗样本输入识别模型进行识别，得到第一识别结果；基于所述第一识别结果确定所述第三图像对应的目标对抗样本，所述对抗样本集包括所述初始图像集中每一张图像对应的目标对抗样本。
9.根据权利要求8所述的方法，其中，所述初始图像集还包括所述初始图像集中的每张图像的类别标签，所述第三图像的类别标签表征所述第三图像的类别为目标类别，所述基于所述第一识别结果确定所述第三图像对应的目标对抗样本，包括如下至少一项：在所述第一识别结果表征所述初始对抗样本中的目标对象为所述目标类别的置信度小于预设阈值的情况下，将所述初始对抗样本确定为所述目标对抗样本；在所述第一识别结果表征所述初始对抗样本中的目标对象为所述目标类别的置信度大于或等于所述预设阈值的情况下，对所述初始对抗样本中的扰动区域的扰动信息进行更新，得到中间对抗样本，并将所述中间对抗样本输入所述识别模型进行识别，得到第二识别结果，以及，基于所述第二识别结果确定所述目标对抗样本。10.根据权利要求8所述的方法，其中，所述在第三图像中的扰动区域添加初始扰动信息，得到初始对抗样本，包括：对所述第三图像进行预处理，得到第三目标图像，其中，所述预处理包括以下至少一项：将所述第三图像的格式转换为与所述识别模型匹配的预设格式，以及，将所述第三图像的尺寸缩放为与所述识别模型匹配的预设尺寸；在所述第三目标图像中添加所述初始扰动信息，得到所述初始对抗样本。11.一种对抗样本的生成装置，包括：获取模块，用于获取初始图像集，所述初始图像集中的图像包括目标区域，所述目标区域包括目标对象的图像内容；确定模块，用于确定所述初始图像集中每一张图像中的扰动区域，其中，所述扰动区域位于所述目标区域内，第一图像中扰动区域的第一属性信息与第二图像中的扰动区域的第一属性信息...

【专利技术属性】
技术研发人员：田伟娟，包沉浮，王洋，吕中厚，黄英仁，张华正，干逸显，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：