一种图像处理的方法及装置、图像生成的方法及装置制造方法及图纸

本公开提供了一种图像处理的方法及装置、图像生成的方法及装置，其中，该图像处理的方法包括：获取源图像和用于对源图像的特征识别进行干扰的目标图像；分别对源图像和目标图像进行特征提取，得到第一特征图和第二特征图；基于所述第一特征图、所述第二特征图和扰动限制项，得到扰动特征图；将扰动特征图和源图像进行融合，生成与源图像对应的对抗图像。本公开通过扰动限制项的限定可以同时学习到有关目标图像的特征以及源图像的特征，所生成的扰动特征图和源图像进行融合之后，可以得到涵盖了目标图像特征的对抗图像，整个操作过程较为简单，使得生成效率较高。使得生成效率较高。使得生成效率较高。

【技术实现步骤摘要】
一种图像处理的方法及装置、图像生成的方法及装置


[0001]本公开涉及图像处理
，具体而言，涉及一种图像处理的方法及装置、图像生成的方法及装置。

技术介绍

[0002]随着神经网络的广泛应用，其安全性和稳定性也越来越受到重视。神经网络的对抗样本是指在原数据集中添加肉眼不可见或不影响整体观感的扰动所形成的一类样本。对抗样本可以使得神经网络模型以较高的置信度给出与原样本不同的分类结果，例如可以使得人脸识别模型、车牌识别模型和图像分类器等产生错误输出。
[0003]相关技术中提供了一种基于梯度的对抗样本生成方法，该方法通过在梯度方向上添加增量来诱导网络对生成的图片进行误分类，为了使得生成的对抗样本可以更好的迁移到其它网络平台，这里往往需要进行多次梯度计算与迭代，因而时间代价较大。

技术实现思路

[0004]本公开实施例提供一种图像处理的方法及装置、图像生成的方法及装置。
[0005]第一方面，本公开实施例提供了一种图像处理的方法，所述方法包括：
[0006]获取源图像和目标图像，所述目标图像用于对所述源图像的特征识别进行干扰；
[0007]分别对所述源图像和所述目标图像进行特征提取，得到第一特征图和第二特征图；
[0008]基于所述第一特征图、所述第二特征图和扰动限制项，得到扰动特征图；
[0009]将所述扰动特征图和所述源图像进行融合，生成与所述源图像对应的对抗图像。
[0010]采用上述图像处理的方法，可以在获取到源图像以及用于对该源图像的特征识别进行干扰的目标图像的情况下，分别对上述两个图像进行特征提取，这样，可以基于提取得到的第一特征图、第二特征图以及扰动限制项，得到扰动特征图。
[0011]上述扰动特征图可以是在扰动限制项的限定下对第一特征图和第二特征图进行处理得到的。通过扰动限制项的限定可以同时学习到有关目标图像的特征以及源图像的特征，这样所生成的扰动特征图和源图像进行融合之后，可以得到涵盖了目标图像特征的对抗图像，整个操作过程较为简单，使得生成效率较高。
[0012]在一种可能的实施方式中，所述与所述源图像对应的对抗图像由训练好的神经网络所生成；所述神经网络包括第一编码器和第二编码器；
[0013]所述分别对所述源图像和所述目标图像进行特征提取，得到第一特征图和第二特征图，包括：
[0014]利用所述第一编码器对所述源图像进行特征提取，得到第一特征图；以及，
[0015]利用所述第二编码器对所述目标图像进行特征提取，得到第二特征图。
[0016]本公开实施例中，可以利用并行设置的第一编码器和第二编码器分别对源图像和目标图像进行特征提取，得到第一特征图和第二特征图，通过并行的特征提取操作，能够进
一步提升生成效率。
[0017]在一种可能的实施方式中，所述扰动限制项包括从多个候选扰动限制项中选取的限制项；所述基于所述第一特征图、所述第二特征图和扰动限制项，得到扰动特征图，包括：
[0018]将所述第一特征图和所述第二特征图进行拼接，得到拼接后的第三特征图；
[0019]基于选取的所述扰动限制项对所述第三特征图进行扰动信息提取，得到所述扰动特征图。
[0020]上述扰动特征图可以是在扰动限制项的限定下对第三特征图进行扰动提取后得到的，这里的第三特征图可以是源图像以及对该图像起干扰作用的目标图像所提取到的两个特征图(即第一特征图和第二特征图)的拼接结果。通过扰动限制项的限定可以学习到更多有关目标图像的特征的同时，降低源图像的特征的影响，这样所生成的扰动特征图和源图像进行融合之后，可以得到看起来与源图像较为相似，实际上却涵盖了目标图像的特征的对抗图像，更具实用性。
[0021]在一种可能的实施方式中，所述与所述源图像对应的对抗图像由训练好的神经网络所生成，所述神经网络包括解码器；所述基于选取的所述扰动限制项对所述第三特征图进行扰动信息提取，得到所述扰动特征图，包括：
[0022]基于选取的所述扰动限制项，利用所述解码器对所述第三特征图进行扰动信息提取，得到所述扰动特征图。
[0023]在一种可能的实施方式，所述解码器包括第一子解码器和第二子解码器；所述基于选取的所述扰动限制项，利用所述解码器对所述第三特征图进行扰动信息提取，得到所述扰动特征图，包括：
[0024]利用所述第一子解码器对所述第三特征图进行解码，得到解码后的多个特征子图，并利用所述第二子解码器对选取的所述扰动限制项进行解码，得到与所述多个特征子图中每个所述特征子图匹配的扰动权重；
[0025]基于所述多个特征子图以及与所述扰动权重，生成所述扰动特征图。
[0026]本公开实施例中，可以分别利用第一子解码器和第二子解码器对第三特征图进行解码以及对选取的扰动限制项进行解码，通过对扰动限制项进行解码可以对第三特征图所解码出来的各个特征子图进行权重分配，以生成扰动特征图，该扰动特征图可以是符合扰动限制项的特征图，一定程度上可以表征各个扰动权重对解码出来的各个维度的特征子图的影响程度，针对不同的第三特征图，所对应解析得到的特征子图及扰动权重也不同，这里，通过适应性调整可以使得生成的扰动特征图更为符合扰动限制。
[0027]在一种可能的实施方式中，在所述源图像为源图像样本，所述目标图像为目标图像样本的情况下，按照如下步骤训练所述神经网络：
[0028]基于所述源图像样本和所述目标图像样本对待训练的神经网络进行至少一轮训练，直至所述神经网络输出的对抗图像样本与所述目标图像样本之间的图像相似度大于预设相似度，训练得到所述神经网络。
[0029]这里，可以针对目标图像样本以及源图像样本进行一轮训练，这样，通过至少一轮的模型训练即可以训练得到神经网络，这里模型截止的条件可以是神经网络输出的对抗图像样本与目标图像样本之间的图像相似度大于预设相似度，由于对抗图像样本融合有目标图像样本的特征信息，在两个图像之间的图像相似度足够大的情况下，很容易会将对抗图
像样本中的对象误识别成目标图像样本中的对象，从而达到特征识别过程中的干扰作用。
[0030]第二方面，本公开实施例还提供了一种图像生成的方法，所述方法包括：
[0031]获取原始图像；
[0032]利用第一方面及其各种实施方式任一项所述的图像处理的方法生成与所述原始图像对应的对抗图像。
[0033]在一种可能的实施方式中，所述方法还包括：
[0034]通过显示设备展示所述对抗图像。
[0035]在一些实施例中，所述原始图像与所述对抗图像包括人脸图像。
[0036]第三方面，本公开实施例还提供了一种图像处理的装置，所述装置包括：
[0037]获取模块，用于获取源图像和目标图像，所述目标图像用于对所述源图像的特征识别进行干扰；
[0038]提取模块，用于分别对所述源图像和所述目标图像进行特征提取，得到第一特征图和第二特征图；
[0039]生成模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的方法，其特征在于，所述方法包括：获取源图像和目标图像，所述目标图像用于对所述源图像的特征识别进行干扰；分别对所述源图像和所述目标图像进行特征提取，得到第一特征图和第二特征图；基于所述第一特征图、所述第二特征图和扰动限制项，得到扰动特征图；将所述扰动特征图和所述源图像进行融合，生成与所述源图像对应的对抗图像。2.根据权利要求1所述的方法，其特征在于，所述与所述源图像对应的对抗图像由训练好的神经网络所生成；所述神经网络包括第一编码器和第二编码器；所述分别对所述源图像和所述目标图像进行特征提取，得到第一特征图和第二特征图，包括：利用所述第一编码器对所述源图像进行特征提取，得到第一特征图；以及，利用所述第二编码器对所述目标图像进行特征提取，得到第二特征图。3.根据权利要求2所述的方法，其特征在于，所述扰动限制项包括从多个候选扰动限制项中选取的限制项；所述基于所述第一特征图、所述第二特征图和扰动限制项，得到扰动特征图，包括：将所述第一特征图和所述第二特征图进行拼接，得到拼接后的第三特征图；基于选取的所述扰动限制项对所述第三特征图进行扰动信息提取，得到所述扰动特征图。4.根据权利要求3所述的方法，其特征在于，所述与所述源图像对应的对抗图像由训练好的神经网络所生成，所述神经网络包括解码器；所述基于选取的所述扰动限制项对所述第三特征图进行扰动信息提取，得到所述扰动特征图，包括：基于选取的所述扰动限制项，利用所述解码器对所述第三特征图进行扰动信息提取，得到所述扰动特征图。5.根据权利要求4所述的方法，其特征在于，所述解码器包括第一子解码器和第二子解码器；所述基于选取的所述扰动限制项，利用所述解码器对所述第三特征图进行扰动信息提取，得到所述扰动特征图，包括：利用所述第一子解码器对所述第三特征图进行解码，得到解码后的多个特征子图，并利用所述第二子解码器对选取的所述扰动限制项进行解码，得到与所述多个特征子图中每个特征子图匹配的扰动权重；基于所述多个特征子图以及所述扰动权重，生成所述扰动特征图。6.根据权利要求2...

【专利技术属性】
技术研发人员：袁皓洁，储琪，朱烽，赵瑞，刘斌，俞能海，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：