一种从图像域迁移到视频域的生成式跨模态攻击方法技术

本发明专利技术属于视频识别网络模型安全技术领域，具体为一种从图像域迁移到视频域的生成式跨模态攻击方法。本发明专利技术仅利用图像域的知识训练对抗扰动生成器，训练好的对抗扰动生成器用于为来自不同视频域的视频逐帧生成对于不同视频模型具有较高迁移性的对抗扰动；其中，通过缩小图像和视频之间的域差异增强从图像域到视频域的对抗迁移性；设计一个随机运动模块，通过随机合成的光流来模拟相邻视频帧之间不同的时序运动；通过在特征破坏损失中集成随机运动模块；在训练阶段引入额外的时序线索、基于中间特征的时序一致性损失，增强生成视频对抗样本的迁移性；实验证明本发明专利技术攻击方法的有效性，并且在不同的目标视频域上有最先进的性能。性能。性能。

【技术实现步骤摘要】
一种从图像域迁移到视频域的生成式跨模态攻击方法


[0001]本专利技术属于视频识别网络模型安全
，具体涉及一种从图像域迁移到视频域的生成式跨模态攻击方法。

技术介绍

[0002]对抗攻击(adversarial attack)是指通过在干净样本上添加人类难以察觉的扰动来误导深度神经网络(DNNs)产生错误决策的技术。其中，生成的可导致DNNs产生错误决策的样本被称为对抗样本(adversarial example)。根据威胁模型，对抗攻击可分类为白盒攻击和黑盒攻击。在白盒攻击中，攻击者可以完全访问DNNs，包括模型结构、参数等。而在黑盒攻击中，攻击者只能访问DNNs的输出。因此，针对黑盒攻击的研究更具现实意义也更具挑战性。
[0003]近年来，DNNs在图像分类、目标检测、动作识别等一系列计算机视觉任务中表现出色。然而，对抗机器学习领域的进展揭示了DNNs极易受到对抗样本的攻击[1,2]。更重要的是，针对一个模型生成的对抗样本也可以欺骗其他模型，即使这些模型具有不同的架构或是在训练数据的不同子集上训练得到[2]。对抗样本的这种迁移性使得黑盒攻击成为可能，这无疑对DNNs在现实场景中的部署造成了严重的安全威胁。因此，对抗样本的迁移性引起了众多研究的关注。
[0004]现有的基于迁移的黑盒攻击[3,4,5]大多假设可获取目标模型的训练数据，并主要探索对抗样本在相同数据集上训练的模型之间的迁移性。然而，从实际角度考虑，模型部署者不太可能泄露已部署模型的训练集。为了解决这个关键问题，最近的工作提出了跨域迁移攻击[6，7，8]。具体而言，首先针对某个源域训练一个对抗扰动生成器，在推理过程中，训练好的扰动生成器直接为来自任何其他目标域的图像制作对抗样本，以欺骗在目标域中训练的模型。然而，这种跨域迁移攻击要求源域和目标域是同模态的，即两者都是图像域。跨异模态域(例如，从图像域到视频域)很少被探索。
[0005]本专利技术的主要挑战来自于图像和视频之间存在较大的域差异。与视频数据相比，图像数据缺乏对视频域而言至关重要的动态时序线索。这种差异可能限制了针对图像域训练的扰动生成器在视频域上的泛化性能。图像和视频在时序上的差异为跨模态迁移攻击提出了新的挑战。现有的跨域迁移攻击方法[6,7,8]仅考虑了如何缩小不同图像之间的域差异。这些方法通过引入作用于干净图像和对抗图像的相对类别概率或中间特征的损失函数，以及随机归一化和域无关注意力来鼓励扰动生成器学习域无关的对抗扰动。由于忽略了图像和视频在时序上的差异，直接将它们拓展到跨模态迁移攻击中性能较差。

技术实现思路

[0006]本专利技术的目的在于提供一种能够从图像域迁移到视频域的生成式跨模态攻击方法，以提升扰动生成器对于视频域的泛化性能，增强对抗视频片段的对抗迁移性。
[0007]本专利技术提供的从图像域迁移到视频域的生成式跨模态攻击方法，仅利用图像域的
知识来训练对抗扰动生成器[9]，训练好的对抗扰动生成器能够为来自不同视频域的视频逐帧生成对于不同视频模型具有较高迁移性的对抗扰动；其中，通过缩小图像和视频之间的域差异增强从图像域到视频域的对抗迁移性。包括提出一个随机运动模块，通过随机合成的光流来模拟相邻视频帧之间不同的时序运动[10]，该模块使用合成的随机光流来扭曲干净和对抗扰动生成器生成的对抗图像[11]；通过在特征破坏损失中集成了随机运动模块(由于原始的特征破坏损失是在未经过扭曲的干净和对抗图像上计算的，但在本专利技术中，特征破坏损失是在经过扭曲的干净和对抗图像上计算的，故将其称为集成了随机运动模块的特征破坏损失)，在训练阶段引入额外的时序线索；此外，还引入基于中间特征的时序一致性损失，以进一步增强生成视频对抗样本的迁移性；通过同时优化特征破坏损失和时序一致性损失来训练扰动生成器。
[0008]本专利技术提供的从图像域迁移到视频域的生成式跨模态攻击方法，具体步骤包括：
[0009](一)在对抗扰动生成器的训练阶段，使用随机运动模块融合动态时序线索；具体地：
[0010]对每个图像输入，合成随机光流来模拟不同的时序运动，并使用合成的随机光流对图像进行扭曲(Warp)，以模拟它们的相邻帧。
[0011]具体操作步骤如下：
[0012]步骤1：给定输入图像x
i
∈R
H
×
W
×
C
，合成一个随机的光流f∈R
H
×
W
×
2；
[0013]其中，H和W分别为图像的高度和宽度，C是图像的通道数；
[0014]步骤2：将干净图像x
i
输入此时的对抗扰动生成器得到对抗图像
[0015]步骤3：通过随机运动模块使用合成的随机光流f分别对干净图像x
i
和对抗图像进行扭曲，得到扭曲后的干净图像RM(x
i
)和对抗图像
[0016]步骤4：将扭曲后的干净图像RM(x
i
)和对抗图像输入预训练好的图像模型得到第l层的中间特征和(这里“图像模型”具体是指用于图像分类任务的模型；因为训练阶段需要确保生成能够欺骗图像模型的对抗图像，所以需要一个已经预训练好的图像模型)
[0017]步骤5：通过最小化中间特征和之间的余弦相似度，计算特征破坏损失，增强扰动生成器对于帧间时序变化的鲁棒性。
[0018](二)在扰动生成器的训练阶段，还引入时序一致性来进一步增强对抗迁移性；
[0019]基于特征破坏损失的对抗扰动生成器所生成的对抗视频片段在中间特征上的时序一致性和对抗迁移性之间存在正相关性；具体是让模拟相邻帧的两个对抗图像在中间特征上取得时序一致性；
[0020]具体操作步骤为：
[0021]步骤1：将扭曲后的干净图像RM(x
i
)输入此时的对抗扰动生成器得到其对应的对抗图像RM(x
i
)
adv
；
[0022]步骤2：将扭曲后的干净图像对应的对抗图像RM(x
i
)
adv
输入预训练好的图像模型得到第l层的中间特征
[0023]步骤3：通过最小化中间特征和之间的余弦相似度，
计算时序一致损失，进一步增强生成的对抗视频片段的迁移性。
[0024](三)在扰动生成器的训练阶段，同时优化特征破坏损失和时序一致性损失；
[0025]具体是在训练对抗扰动生成器的时候，同时优化集成随机运动模块的特征破坏损失和基于中间特征的时序一致性损失，直至收敛。
[0026](四)在对抗扰动生成器的推理阶段，生成对抗视频；
[0027]具体是训练好的扰动生成器接受视频片段中的单个帧作为输入，并通过一次前向传播生成对抗帧；然后，生成的对抗帧被重新组合成一个对抗视频片段。
[0028]本专利技术提供的从图像域迁移到视频域的生成式跨模态攻击方法，具体操作流程为：
[0029](1)在扰动生成器的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种从图像域迁移到视频域的生成式跨模态攻击方法，其特征在于，仅利用图像域的知识来训练对抗扰动生成器，训练好的对抗扰动生成器用于为来自不同视频域的视频逐帧生成对于不同视频模型具有较高迁移性的对抗扰动；其中，通过缩小图像和视频之间的域差异增强从图像域到视频域的对抗迁移性；并且，设计一个随机运动模块，通过随机合成的光流来模拟相邻视频帧之间不同的时序运动；通过在特征破坏损失中集成随机运动模块，在训练阶段，引入额外的时序线索，还引入基于中间特征的时序一致性损失，以进一步增强生成视频对抗样本的迁移性；通过同时优化特征破坏损失和时序一致性损失来训练扰动生成器；具体步骤包括：(一)在对抗扰动生成器的训练阶段，使用随机运动模块融合动态时序线索；具体地：对每个图像输入，合成随机光流来模拟不同的时序运动，并使用合成的随机光流对图像进行扭曲，以模拟它们的相邻帧；(二)在扰动生成器的训练阶段，还引入时序一致性来进一步增强对抗迁移性；基于特征破坏损失的对抗扰动生成器所生成的对抗视频片段在中间特征上的时序一致性和对抗迁移性之间存在正相关性；具体是让模拟相邻帧的两个对抗图像在中间特征上取得时序一致性；(三)在扰动生成器的训练阶段，同时优化特征破坏损失和时序一致性损失；具体是在训练对抗扰动生成器的时候，同时优化集成随机运动模块的特征破坏损失和基于中间特征的时序一致性损失，直至收敛；(四)在对抗扰动生成器的推理阶段，生成对抗视频。2.根据权利要求1所述的生成式跨模态攻击方法，其特征在于，步骤(一)中所述在对抗扰动生成器的训练阶段，使用随机运动模块融合动态时序线索；具体操作步骤如下：步骤1：给定输入图像x
i
∈R
H
×
W
×
C
，合成一个随机的光流f∈R
H
×
W
×2；其中，H和W分别为图像的高度和宽度，C是图像的通道数；步骤2：将干净图像x
i
输入此时的对抗扰动生成器得到对抗图像步骤3：通过随机运动模块使用合成的随机光流f分别对干净图像x
i
和对抗图像进行扭曲，得...

【专利技术属性】
技术研发人员：陈静静，陈凯，魏志鹏，姜育刚，
申请(专利权)人：复旦大学，
类型：发明
国别省市：