一种应对视频分类对抗攻击的防御方法和系统技术方案

本发明专利技术公开了一种应对视频分类对抗攻击的防御方法和系统，首先对待防御视频中的每一帧生成其对应的合成帧，根据该帧与其合成帧的一致性度量大小判断该帧是否受到对抗攻击，并提取出待防御视频中未受对抗攻击的帧集合；随后利用未受对抗攻击的帧对防御网络进行预训练，开启第一阶段的视频重构，获取重构后的半成品视频样本；最后在半成品样本的基础上进行第二阶段的视频重构，利用最优结果选取策略获得最终的重构视频，重构视频能够对遭受对抗攻击的视频中的扰动进行净化，以此达到防御的目的。采用本发明专利技术能够在应对视频分类对抗攻击时获取更优的防御性能，同时更低程度的影响分类网络对未受攻击样本的分类性能，具有更高的实用价值。用价值。用价值。

【技术实现步骤摘要】
一种应对视频分类对抗攻击的防御方法和系统


[0001]本专利技术属于深度学习
，具体涉及一种应对视频分类对抗攻击的防御方法和系统。

技术介绍

[0002]近年来，深度神经网络在许多计算机视觉任务中表现出卓越的效果，例如图像识别、视频分类、目标检测、图像去噪等。视觉任务与生活息息相关，将深度学习技术应用于生活中的实际场景将会在节省人力物力的同时为生活提供极大的便利。然而，随着神经网络的快速发展，其弱点也随之暴露。研究表明，神经网络会受对抗样本的攻击而无法正常工作。对抗样本是攻击者在原数据的基础上添加精心设计的微小扰动，由于扰动的幅度很小，人眼无法察觉其变化，但这却会使神经网络输出错误的结果，这种攻击方式被称为对抗攻击。对抗攻击的产生无疑使得深度学习的应用场景面临严重的安全问题。
[0003]当然，有对神经网络的攻击也一定意味着有对应的防御方法。在深度学习技术刚问世的几年里，神经网络的多数应用场景在图像领域，因此对神经网络的攻击与防御的研究也大多针对图像分类等任务。现如今，对于图像领域的防御方法已经能够取得十分优异的效果，应用于图像任务的神经网络的安全问题几乎不再令人担忧。然而，随着互联网上视频数据的飞速增长，一些视频领域的任务变得越来越重要，深度学习的应用场景也逐渐转向视频领域。近年来有研究表明，和图像领域相同，应用于视频分类的神经网络同样会遭到对抗样本的攻击而无法正常工作。到目前为止，只有少数针对视频分类对抗攻击的防御方法的研究，并且该方法的防御准确率和防御重构图像质量较低，针对视频分类的防御性能仍需得到进一步的提升。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术的缺点，提供一种应对视频分类对抗攻击的防御方法和系统，以解决现有技术中应用于视频分类的神经网络会遭到对抗样本的攻击而无法正常工作，针对视频分类对抗攻击的防御方法缺乏的问题。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种应对视频分类对抗攻击的防御方法，包括：
[0007]提取待防御视频中的每一帧作为视频帧，生成每一个视频帧对应的合成帧；通过分类网络判断视频帧的视频类型，及所述视频帧对应合成帧的视频类型，结合一致性函数，判断出视频帧是否受到对抗攻击，提取出待防御视频中未受到对抗攻击的帧组成帧集合；
[0008]从未受到对抗攻击的帧集合中随机抽取一帧作为初始帧，基于初始帧建立预训练视频；建立随机噪声视频，所述随机噪声视频和预训练视频的帧数相等，均与待防御视频的帧数相等；将随机噪声视频输入至防御网络中，依次以预训练视频和待防御视频为目标，通过防御网络的迭代，使得随机噪声视频训练成为半成品视频；所述半成品视频生成过程中，选取度量指标最高的主模式视频为半成品视频；
[0009]将半成品视频输入至防御网络中，以待防御视频为目标，通过防御网络的迭代，选取度量指标最高的视频作为最终的重构视频；
[0010]通过分类网络，对最终的重构视频进行分类。
[0011]本专利技术的进一步改进在于：
[0012]优选的，所述合成帧的获取方法为，设定每一个视频帧为当前帧，通过Gunnar Farneback算法计算当前帧与前一帧之间的光流信息，在光流信息上添加高斯噪声，将添加有高斯噪声的光流信息添加到前一帧上，获得当前帧的合成帧。
[0013]优选的，所述一致性函数为：
[0014][0015]其中，Y
t
(m)与代表视频帧与合成帧被预测为m类的概率；如果E＜0.5，认定视频帧没有受到攻击，否则认为视频帧受到攻击。
[0016]优选的，半成品视频生成过程中，防御网络的迭代分为两个阶段，第一阶段以预训练视频为训练目标，第二阶段以待防御视频为训练目标；
[0017]第一阶段防御网络的损失函数为：
[0018][0019]其中L代表L1距离，h(.；θ)为防御网络，h(.；θ)
main
与h(.；θ)
minor
分别代表分类网络输出的主模式视频与副模式视频；
[0020]第二阶段防御网络的损失函数为：
[0021][0022]其中，
⊙
代表点乘运算，L代表L1距离，P
t
为待防御视频，O
main
为主模式视频和O
minor
为副模式视频，C
t
为置信图。
[0023]优选的，所述每帧的置信图为：
[0024][0025]对于像素x，如果第i次迭代时P
t
(x)相比副模式更接近主模式将置信图对应位置的值置为1，否则置为0。
[0026]优选的，每一次防御网络迭代，生成一个主模式视频，通过分类网络获得主模式视频的分类标签l
output
，通过所有主模式视频的分类标签生成直方图，结合直方图及如下公式获得真实标签：
[0027][0028]其中，l1和l2分别是两个分类标签，p1为l1对应标签的频率，基于真实标签获得度量指标。
[0029]优选的，所述度量指标为标签的置信度和结构相似性的和，所述结构相似性为输出视频与原视频的结构相似性。
[0030]优选的，重构视频获得过程中，所述防御网络的损失函数为：
[0031][0032]其中，L代表L1距离，P
t
为待防御视频，SSIM为结构相似性函数，O
*
为重构的半成品视频。
[0033]优选的，所述防御网络为全卷积网络U
‑
Net。
[0034]一种应对视频分类对抗攻击的防御系统，其特征在于，包括：
[0035]判断单元，用于提取待防御视频中的每一帧作为视频帧，生成每一个视频帧对应的合成帧；通过分类网络判断视频帧的视频类型，及所述视频帧对应合成帧的视频类型，结合一致性函数，判断出视频帧是否受到对抗攻击，提取出待防御视频中未受到对抗攻击的帧组成帧集合；
[0036]半成品视频生成单元，用于从未受到对抗攻击的帧集合中随机抽取一帧作为初始帧，基于初始帧建立预训练视频；建立随机噪声视频，所述随机噪声视频和预训练视频的帧数相等，均与待防御视频的帧数相等；将随机噪声视频输入至防御网络中，依次以预训练视频和待防御视频为目标，通过防御网络的迭代，使得随机噪声视频训练成为半成品视频；所述半成品视频生成过程中，选取度量指标最高的主模式视频为半成品视频；
[0037]重构视频生成单元，用于将半成品视频输入至防御网络中，以待防御视频为目标，通过防御网络的迭代，选取度量指标最高的视频作为最终的重构视频；
[0038]分类单元，用于通过分类网络，对最终的重构视频进行分类。
[0039]现有技术相比，本专利技术具有以下有益效果：
[0040]本专利技术公开了一种应对视频分类对抗攻击的防御方法，首先获取待防御视频，之后构建全卷积网络U
‑
Net作为防御网络，对其进行随机初始化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应对视频分类对抗攻击的防御方法，其特征在于，包括：提取待防御视频中的每一帧作为视频帧，生成每一个视频帧对应的合成帧；通过分类网络判断视频帧的视频类型，及所述视频帧对应合成帧的视频类型，结合一致性函数，判断出视频帧是否受到对抗攻击，提取出待防御视频中未受到对抗攻击的帧组成帧集合；从未受到对抗攻击的帧集合中随机抽取一帧作为初始帧，基于初始帧建立预训练视频；建立随机噪声视频，所述随机噪声视频和预训练视频的帧数相等，均与待防御视频的帧数相等；将随机噪声视频输入至防御网络中，依次以预训练视频和待防御视频为目标，通过防御网络的迭代，使得随机噪声视频训练成为半成品视频；所述半成品视频生成过程中，选取度量指标最高的主模式视频为半成品视频；将半成品视频输入至防御网络中，以待防御视频为目标，通过防御网络的迭代，选取度量指标最高的视频作为最终的重构视频；通过分类网络，对最终的重构视频进行分类。2.根据权利要求1所述的一种应对视频分类对抗攻击的防御方法，其特征在于，所述合成帧的获取方法为，设定每一个视频帧为当前帧，通过Gunnar Fameback算法计算当前帧与前一帧之间的光流信息，在光流信息上添加高斯噪声，将添加有高斯噪声的光流信息添加到前一帧上，获得当前帧的合成帧。3.根据权利要求1所述的一种应对视频分类对抗攻击的防御方法，其特征在于，所述一致性函数为：其中，Y
t
(m)与代表视频帧与合成帧被预测为m类的概率；如果E＜0.5，认定视频帧没有受到攻击，否则认为视频帧受到攻击。4.根据权利要求1所述的一种应对视频分类对抗攻击的防御方法，其特征在于，半成品视频生成过程中，防御网络的迭代分为两个阶段，第一阶段以预训练视频为训练目标，第二阶段以待防御视频为训练目标；第一阶段防御网络的损失函数为：其中L代表L1距离，h(.；θ)为防御网络，h(.；θ)
main
与h(.；θ)
minor
分别代表分类网络输出的主模式视频与副模式视频；第二阶段防御网络的损失函数为：其中，
⊙
代表点乘运算，L代表L1距离，P
t
为待防御视频，O
main
为主模式视频和O
minor
为副模式视频，C
t
为置信图。5.根据权利...

【专利技术属性】
技术研发人员：王萍，王佳琪，鲁磊，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：