基于加权梯度哈希激活热力图的稀疏对抗攻击方法技术

本发明专利技术提供了一种基于加权梯度哈希激活热力图的稀疏对抗攻击方法，包括：步骤1，将查询视频输入视频哈希检索模型，获得查询视频哈希码；步骤2，获取目标视频集并将目标视频集中的目标视频分别输入视频哈希检索模型生成多个目标视频哈希码；步骤3，将查询视频哈希码分别与多个目标视频哈希码进行点乘，构建查询视频哈希码与多个目标视频哈希码之间的汉明距离函数。本发明专利技术所述的基于加权梯度哈希激活热力图的稀疏对抗攻击方法，利用加权梯度哈希激活热力图敏感度的准确性，确定了稀疏对抗攻击的位置和敏感区域，降低了对抗攻击的像素代价，提高了稀疏对抗攻击的准确性、效率和对抗样本的不可感知性。样本的不可感知性。样本的不可感知性。

【技术实现步骤摘要】
基于加权梯度哈希激活热力图的稀疏对抗攻击方法


[0001]本专利技术涉及视频对抗攻击
，特别涉及一种基于加权梯度哈希激活热力图的稀疏对抗攻击方法。

技术介绍

[0002]深度神经网络在哈希检索上的应用极大地提高了哈希检索效率，近年来，深度神经网络被证明在对抗攻击下是非常脆弱的，因此有关深度神经网络的安全问题引起了人们的注意，对抗攻击的研究也得到了进一步的发展，深度检索系统在享受深度神经网络带来好处的同时也承担着深度神经网络的风险。
[0003]现在的对抗攻击方法可以分为密集对抗攻击和稀疏对抗攻击两大类，与密集攻击对比，稀疏攻击是通过扰动部分位置的像素点来达到攻击的效果，稀疏攻击最大的挑战在于如何确定扰动的位置。
[0004]目前针对视频哈希检索系统的攻击仅有深度哈希目标攻击方法，该攻击方法的原理是将目标标签进行优化，设置一个新的投票组件来获取目标标签的哈希码集合的最优代表，以此提高对抗攻击的准确性，深度哈希目标攻击方法是密集对抗攻击，会产生许多冗余像素，不适用于真实场景，不仅如此，进行密集对抗攻击还需要花费更多的像素代价，导致对抗样本的不可感知性较低。

技术实现思路

[0005]本专利技术提供了一种基于加权梯度哈希激活热力图的稀疏对抗攻击方法，其目的是为了解决传统的对抗攻击方法会产生许多冗余像素，不适用于真实场景，且需要更多的像素代价，导致对抗样本的不可感知性较低的问题。
[0006]为了达到上述目的，本专利技术的实施例提供了一种基于加权梯度哈希激活热力图的稀疏对抗攻击方法，包括：步骤1，将查询视频输入视频哈希检索模型，获得查询视频哈希码；步骤2，获取目标视频集并将目标视频集中的目标视频分别输入视频哈希检索模型生成多个目标视频哈希码；步骤3，将查询视频哈希码分别与多个目标视频哈希码进行点乘，构建查询视频哈希码与多个目标视频哈希码之间的汉明距离函数；步骤4，对所述汉明距离函数的输出和视频哈希检索模型的中间层输入进行链式求导后与视频哈希检索模型的中间层输入进行线性组合，生成加权梯度哈希激活热力图；步骤5，通过三线性插值和上采样将加权梯度哈希激活热力图的时间维度和空间维度进行映射，得到加权梯度哈希激活热力矩阵，将加权梯度哈希激活热力矩阵通过Relu函数激活和Binarize函数二值化，得到稀疏的掩码矩阵；步骤6，将对抗性扰动与掩码矩阵相乘，得到对抗性掩码矩阵，根据对抗性掩码矩阵和所述汉明距离函数构建对抗性目标函数，通过ADAM优化方法对对抗性目标函数进行优
化，获得稀疏的对抗性视频样本。
[0007]其中，所述步骤1具体包括：步骤11，定义视频哈希检索模型为F(
.
)；步骤12，将查询视频输入视频哈希检索模型F(
.
)，视频哈希检索模型生成查询视频哈希码，查询视频哈希码生成过程，如下所示：H
q
=F(X
q
)
ꢀꢀ
（1）其中，H
q
表示查询视频哈希码，H
q
∈{0,1}
N
，N表示长度，H
q
为长度为N的二元哈希码序列，X
q
表示查询视频，X
q
∈R
C
×
G
×
B
×
T
，C表示查询视频的帧数，G表示查询视频每一帧的宽度，B表示查询视频每一帧的高度，T表示查询视频每一帧的通道数。
[0008]其中，所述步骤2具体包括：步骤21，获取目标视频集X
t
={x
t1
,x
t2
,
…
,x
ti
}，其中，x
ti
表示目标视频集中第i个目标视频，i=1,2,
…
,n；步骤22，将目标视频集中的目标视频分别输入视频哈希检索模型，视频哈希检索模型生成多个目标视频哈希码，目标视频哈希码生成过程，如下所示：H
ti
=F(x
ti
)
ꢀꢀ
（2）其中，H
ti
表示第i个目标视频哈希码，i=1,2,
…
,n。
[0009]其中，所述步骤3具体包括：查询视频哈希码和多个目标视频哈希码之间的汉明距离函数，如下所示：（3）其中，d(
.
,
.
)表示点积运算函数。
[0010]其中，所述步骤4具体包括：步骤41，对所述汉明距离函数的输出和视频哈希检索模型的中间层输入进行链式求导后，得到中间特征图的梯度，将中间特征图的梯度作为中间特征图的权重，如下所示：（4）其中，W表示中间特征图的权重，W∈R
c
×
y
×
g
×
b
，c表示中间特征图的帧数，y表示每一帧中间特征图的加权图数量，g表示每一帧中间特征图的加权图宽度，b表示每一帧中间特征图的加权图高度，A表示中间层输入，中间层输入为中间特征图；步骤42，将中间特征图的权重W在第二维度上进行全局平均，得到每一帧特征图的全局平均权重w
c
，如下所示：（5）其中，w
c
表示每一帧特征图的全局平均权重，表示每一帧特征图的空间分辨率，i和j表示像素坐标；步骤43，将每一帧特征图的全局平均权重w
c
和中间层的输入A进行线性组合，得到加权梯度哈希激活热力图
k
，如下所示：
k
=w
c
（6）其中，
k
表示加权梯度哈希激活热力图，k=1,2,
…
,c。
[0011]其中，所述步骤5具体包括：步骤51，将加权梯度哈希激活热力图通过三线性插值和上采样映射为与目标视频尺寸大小相同的加权梯度哈希激活热力矩阵；步骤52，将加权梯度哈希激活热力矩阵输入ReLU激活函数得到激活矩阵V
T
；步骤53，设定阈值ε，结合阈值ε将激活矩阵V
T
输入Binarize函数中生成稀疏的掩码矩阵，如下所示：（7）其中，
n
表示掩码矩阵，Binarize表示二值化函数，V
T
表示激活矩阵，将激活矩阵V
T
中权重低于阈值的像素的掩码设置为0，将激活矩阵V
T
中权重高于阈值的像素的掩码设置为1。
[0012]其中，所述步骤6具体包括：步骤61，构建对抗性目标函数，如下所示：步骤61，构建对抗性目标函数，如下所示：（8）其中，E表示对抗性扰动，M表示掩码矩阵，M为
n
的简写形式；表示矩阵中的最大值，τ和表示常数；步骤62，通过ADAM优化方法对公式（8）进行优化，求出以最小化查询视频哈希码与多个目标视频哈希码之间的汉明距离函数、最小化加入对抗性扰动为目标的最优解，得到稀疏的对抗性视频样本X
a
。
[0013]本专利技术的上述方案有如下的有益效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于加权梯度哈希激活热力图的稀疏对抗攻击方法，其特征在于，包括：步骤1，将查询视频输入视频哈希检索模型，获得查询视频哈希码；步骤2，获取目标视频集并将目标视频集中的目标视频分别输入视频哈希检索模型生成多个目标视频哈希码；步骤3，将查询视频哈希码分别与多个目标视频哈希码进行点乘，构建查询视频哈希码与多个目标视频哈希码之间的汉明距离函数；步骤4，对所述汉明距离函数的输出和视频哈希检索模型的中间层输入进行链式求导后与视频哈希检索模型的中间层输入进行线性组合，生成加权梯度哈希激活热力图；步骤5，通过三线性插值和上采样将加权梯度哈希激活热力图的时间维度和空间维度进行映射，得到加权梯度哈希激活热力矩阵，将加权梯度哈希激活热力矩阵通过Relu函数激活和Binarize函数二值化，得到稀疏的掩码矩阵；步骤6，将对抗性扰动与掩码矩阵相乘，得到对抗性掩码矩阵，根据对抗性掩码矩阵和所述汉明距离函数构建对抗性目标函数，通过ADAM优化方法对对抗性目标函数进行优化，获得稀疏的对抗性视频样本。2.根据权利要求1所述的基于加权梯度哈希激活热力图的稀疏对抗攻击方法，其特征在于，所述步骤1具体包括：步骤11，定义视频哈希检索模型为F(
.
)；步骤12，将查询视频输入视频哈希检索模型F(
.
)，视频哈希检索模型生成查询视频哈希码，查询视频哈希码生成过程，如下所示：H
q
=F(X
q
)
ꢀꢀ
（1）其中，H
q
表示查询视频哈希码，H
q
∈{0,1}
N
，N表示长度，H
q
为长度为N的二元哈希码序列，X
q
表示查询视频，X
q
∈R
C
×
G
×
B
×
T
，C表示查询视频的帧数，G表示查询视频每一帧的宽度，B表示查询视频每一帧的高度，T表示查询视频每一帧的通道数。3.根据权利要求2所述的基于加权梯度哈希激活热力图的稀疏对抗攻击方法，其特征在于，所述步骤2具体包括：步骤21，获取目标视频集X
t
={x
t1
,x
t2
,
…
,x
ti
}，其中，x
ti
表示目标视频集中第i个目标视频，i=1,2,
…
,n；步骤22，将目标视频集中的目标视频分别输入视频哈希检索模型，视频哈希检索模型生成多个目标视频哈希码，目标视频哈希码生成过程，如下所示：H
ti
=F(x
ti
)
ꢀꢀ
（2）其中，H
ti
表示第i个目标视频哈希码，i=1,2,
…
,n。4.根据权利要求3所述的基于加权梯度哈希激活热力图...

【专利技术属性】
技术研发人员：黄亮，施荣华，胡超，
申请(专利权)人：中南大学，
类型：发明
国别省市：