图像处理方法、相关装置及存储介质制造方法及图纸

本申请实施例涉及计算机视觉领域，提供一种图像处理方法、相关装置及存储介质。该方法包括获取候选图像和扰动矩阵；基于所述扰动矩阵对所述候选图像设置乘性扰动，得到候选对抗图像；获取所述候选对抗图像与第一目标图像的识别相似度；所述第一目标图像包括预设对象或干扰对象；若所述识别相似度不符合预设条件，则基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件。本申请实施例可以得到乘性扰动，该乘性扰动可以更加自然地融入候选图像，不容易被感知，对图像识别模型稳定地进行鲁棒性测试。行鲁棒性测试。行鲁棒性测试。

【技术实现步骤摘要】
图像处理方法、相关装置及存储介质


[0001]本申请实施例涉及计算机视觉领域，更具体地涉及一种图像处理方法、相关装置及存储介质。

技术介绍

[0002]对抗攻击研究如何针对不同深度学习模型高效地生成对抗样本，有助于及时发现深度学习模型的脆弱性，评估深度学习模型的鲁棒性。一些对抗攻击方法在数字世界中生成添加较小对抗扰动的对抗样本，可以促使对抗样本无法被深度学习模型正确识别或将其识别为指定的标签。
[0003]现有技术中，在需要对图像识别模型进行对抗攻击测试时，往往通过随机初始化的方式得到一个初始扰动图像，然后将该初始扰动图像设置于原始图像，得到初始对抗图像，之后基于初始对抗图像的对抗攻击结果进行初始扰动图像的迭代更新，得到最终的扰动图像和对抗图像。由于现有技术中的扰动图像是独立初始化和更新的，其与原始图像的关联性不强，在对其更新时往往只考虑了其对抗攻击性能，并未考虑扰动图像与原始图像的差异。因此，现有技术中得到的扰动图像往往与原始图像差异显著，不够自然，容易被感知，对抗攻击效果不够理想，无法稳定地对图像识别模型进行鲁棒性测试。

技术实现思路

[0004]本申请实施例提供一种图像处理方法、相关装置及存储介质,可以通过扰动矩阵与候选图像得到乘性扰动，该乘性扰动基于候选图像的存在而存在，可以更加自然地融入候选图像，不容易被感知，可以发挥出更加理想的对抗攻击效果，对图像识别模型进行稳定地鲁棒性测试。
[0005]第一方面，本申请实施例提供一种图像处理方法，该方法包括：
[0006]获取候选图像和扰动矩阵；所述候选图像包括预设对象；
[0007]基于所述扰动矩阵对所述候选图像设置乘性扰动，得到候选对抗图像；
[0008]获取所述候选对抗图像与第一目标图像的识别相似度；所述第一目标图像包括所述预设对象或干扰对象；
[0009]若所述识别相似度不符合预设条件，则基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件。
[0010]在一个可能的设计中，所述基于所述扰动矩阵对所述候选图像设置乘性扰动，得到候选对抗图像，包括：
[0011]将仿射掩码矩阵与仿射扰动矩阵相乘后，与所述候选图像在预设通道的图像分量相乘，得到包括所述乘性扰动的候选对抗图像分量；
[0012]若所述预设通道包括同一颜色空间的部分通道，则基于所述候选对抗图像分量以及所述候选图像，得到所述候选对抗图像；
[0013]若所述预设通道包括同一颜色空间的全部通道，则基于所述候选对抗图像分量，得到所述候选对抗图像；
[0014]所述仿射掩码矩阵由掩码矩阵基于所述候选图像包括的预设对象的姿态信息调整得到。
[0015]在一个可能的设计中，所述仿射扰动矩阵或所述仿射掩码矩阵通过以下方式得到：
[0016]获取所述候选图像包括的预设对象的关键点信息；
[0017]基于所述关键点信息获取所述预设对象由当前姿态映射至标准姿态的转换矩阵；
[0018]通过所述转换矩阵调整所述目标矩阵，得到所述仿射目标矩阵；
[0019]所述目标矩阵为掩码矩阵或扰动矩阵。
[0020]在一个可能的设计中，基于所述候选对抗图像分量，得到所述候选对抗图像之前，所述方法包括：
[0021]获取至少基于所述候选对抗图像分量得到的中间图像；
[0022]对所述中间图像进行预设图像变换处理，得到所述候选对抗图像。
[0023]在一个可能的设计中，所述基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，包括：
[0024]获取目标损失值，并基于所述目标损失值获取更新梯度；所述目标损失值包括基于所述识别相似度得到的识别相似度损失；
[0025]根据所述更新梯度更新所述扰动矩阵中各个矩阵元素的数值，得到稠密扰动矩阵；
[0026]对所述稠密扰动矩阵进行池化处理，得到稀疏扰动矩阵，并将所述稀疏扰动矩阵作为更新的扰动矩阵。
[0027]在一个可能的设计中，所述若所述识别相似度不符合预设条件，则基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件，包括：
[0028]若所述识别相似度不符合预设条件，则更换所述候选图像和所述第一目标图像，并基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵和候选图像获取的候选对抗图像，与新的第一目标图像的识别相似度符合所述预设条件。
[0029]在一个可能的设计中，若所述识别相似度符合所述预设条件，所述方法还包括：
[0030]将第二目标图像输出，以将目标扰动图像设置于预设对象；所述第二目标图像包括目标扰动图像或目标对抗图像，所述目标扰动图像基于识别相似度符合所述预设条件的扰动矩阵与所述候选图像得到，所述目标对抗图像基于识别相似度符合所述预设条件的候选对抗图像得到；所述目标对抗图像包括所述目标扰动图像；
[0031]其中，将所述目标扰动图像设置于预设对象的方式包括：
[0032]根据所述目标扰动图像的图像内容在所述目标对抗图像的位置信息，将所述图像内容呈现于预设对象。
[0033]第二方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第一方面提供的图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软
件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
[0034]在一个实施方式中，所述图像处理装置包括：
[0035]输入输出模块，被配置为获取候选图像和扰动矩阵；所述候选图像包括预设对象；
[0036]处理模块，被配置为基于所述扰动矩阵对所述候选图像设置乘性扰动，得到候选对抗图像；
[0037]所述处理模块，还被配置为获取所述候选对抗图像与第一目标图像的识别相似度；所述第一目标图像包括所述预设对象或干扰对象；
[0038]所述处理模块，还被配置为若所述识别相似度不符合预设条件，则基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件。
[0039]第三方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的图像处理方法。
[0040]第四方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的图像处理方法。
[0041]第五方面，本申请实施例提供一种芯片，该芯片中包括与终端设备的收发器耦合的处理器，用于执行本申请实施例第一方面提供的技术方案。
[0042]第六方面，本申请实施例提供一种芯片系统，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取候选图像和扰动矩阵；所述候选图像包括预设对象；基于所述扰动矩阵对所述候选图像设置乘性扰动，得到候选对抗图像；获取所述候选对抗图像与第一目标图像的识别相似度；所述第一目标图像包括所述预设对象或干扰对象；若所述识别相似度不符合预设条件，则基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件。2.如权利要求1所述的方法，其特征在于，所述基于所述扰动矩阵对所述候选图像设置乘性扰动，得到候选对抗图像，包括：将所述扰动矩阵与所述候选图像在预设通道的图像分量进行乘法运算，得到包括所述乘性扰动的候选对抗图像；所述预设通道包括表示亮度信息或预设色彩信息的通道。3.如权利要求1所述的方法，其特征在于，扰动矩阵包括多个；所述若所述识别相似度不符合预设条件，则基于所述识别相似度更新所述扰动矩阵，得到更新的扰动矩阵，直至基于更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件，包括：若所述识别相似度不符合预设条件，则基于所述识别相似度更新各个扰动矩阵，得到各个更新的扰动矩阵，直至基于各个更新的扰动矩阵获取的候选对抗图像与所述第一目标图像的识别相似度符合所述预设条件；其中，各个扰动矩阵分别对应不同的通道；若所述预设通道包括预设颜色空间的全部通道，且各个扰动矩阵相同，则所述乘性扰动的视觉表征为灰度水印或白色水印；若所述预设通道包括预设颜色空间的全部通道，且各个扰动矩阵不同，则所述乘性扰动的视觉表征为彩色；所述预设颜色空间的各个通道均用于表示色彩信息。4.如权利要求3所述的方法，其特征在于，所述扰动矩阵中各个矩阵元素的数值在预设取值范围内；所述预设取值范围用于控制所述乘性扰动的视觉表征；所述预设取值范围为[0,1]或[1,+∞]。5.如权利要求1
‑
4中任一项所述的方法，其特征在于，所述基于所述扰动矩阵对所述候选图像设置乘性扰...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：