一种针对图片检索模型的基于查询的黑盒攻击方法技术

本发明专利技术公开了一种针对图片检索模型的基于查询的黑盒攻击方法，涉及图片检索中的对抗攻击技术领域，借助黑盒优化器搜索使可微分的对抗损失最小化的扰动，通过将扰动叠加到查询图片上并送入到图片检索模型中，以改变特定图片出现在检索图片序列中位置，包括步骤S1：选取目标图片并定义预期的检索图片序列；步骤S2：将扰动初始化为与查询图片尺寸相同的随机张量；步骤S3：将扰动叠加到查询图片上并送入图片检索模型中得到检索图片序列；步骤S4：根据当前的检索图片序列和预期的检索图片序列计算对抗损失；步骤S5：借助黑盒优化器对扰动进行一步更新；步骤S6：若满足终止条件则返回扰动并结束；否则回到步骤S3继续执行。否则回到步骤S3继续执行。否则回到步骤S3继续执行。

【技术实现步骤摘要】
一种针对图片检索模型的基于查询的黑盒攻击方法


[0001]本专利技术涉及图片检索中的对抗攻击
，更具体的是涉及一种针对图片检索模型的基于查询的黑盒攻击方法。

技术介绍

[0002]图片检索是计算机视觉中的一个重要任务。用户向图片检索模型输入一张图片，模型需要从数据库中选择与查询图片相关性较高的图片反馈给用户。图片之间的相关性则由深度度量学习神经网络给出。已有研究表明图片检索模型很难抵御对抗攻击，即恶意攻击者通过向查询图片中添加人眼不可见的微小扰动构造对抗样本就能使模型返回错误的检索图片序列。根据攻击者对被攻击模型的了解程度，现有的对抗攻击方法可分为两类：1)白盒攻击方法：此类方法假设攻击者知晓被攻击模型的全部信息，包括图片检索模型的数据库及其采用的深度度量学习神经网络的结构和权重等，攻击者能够利用这些信息轻松地构造对抗样本；2)黑盒攻击方法：此类方法通常假设攻击者不知晓被攻击模型的内部信息，只能在有限的次数内向其发起查询并获得相应的查询结果(即检索图片序列)。显然后者更贴近现实的应用情景也更具挑战性，因而得到了更多的关注。
[0003]现有的针对图片检索模型的黑盒攻击往往只能实现一些简单的攻击目标，如“使检索图片序列前端的图片出现在序列的末端”或“改变特定图片出现在检索图片序列中的位置”，但现实应用情景下的攻击目标可能更加复杂。例如在基于图片检索的商品推荐系统中，一个恶意卖家会希望自己的商品出现在推荐列表中的某个靠前位置，同时竞争对手的商品出现在自己的商品的后面。在这种攻击情景下，攻击者(即恶意卖家)既需要“改变某张图片出现在推荐列表中的位置”还需要“改变两张图片在推荐列表中的相对顺序”，因而无法通过现有的针对图片检索的黑盒攻击方法实现。本专利技术的提出弥补了这一研究空白，使“消除图片检索服务中的潜在安全隐患”以及“训练健壮的图片检索模型”成为可能，具有重要的现实意义。

技术实现思路

[0004]本专利技术的目的在于：弥补图片检索领域中已有黑盒对抗攻击方法的不足，提供一种针对图片检索模型的基于查询的黑盒攻击方法，借助黑盒优化器搜索使可微分的对抗损失最小化的扰动，通过将扰动叠加到查询图片上并送入到图片检索模型中，以改变特定图片出现在检索图片序列中位置。
[0005]本专利技术为了实现上述目的具体采用以下技术方案：
[0006]一种针对图片检索模型的基于查询的黑盒攻击方法，借助黑盒优化器搜索使可微分的对抗损失最小化的扰动，通过将扰动叠加到查询图片上并送入到图片检索模型中，以改变特定图片出现在检索图片序列中位置，该方法具体包括：
[0007]步骤S1：选取目标图片并定义预期的检索图片序列；
[0008]步骤S2：将扰动初始化为与查询图片尺寸相同的随机张量；
[0009]步骤S3：将扰动叠加到查询图片上并送入图片检索模型中得到检索图片序列；
[0010]步骤S4：根据当前的检索图片序列和预期的检索图片序列计算对抗损失；
[0011]步骤S5：借助黑盒优化器对扰动进行一步更新；
[0012]步骤S6：若满足终止条件则返回扰动并结束；否则回到步骤S3继续执行。
[0013]作为一种可选的技术方案，所述步骤S1具体包括：
[0014]步骤S11：选取目标图片集合
[0015]图片检索模型f的数据库C定义为包含N张不重复图片的集合：
[0016]C＝{c1，c2，...，c
N
}，
[0017]对于查询图片q，f会返回C中与q相关性最高的K张图片作为检索图片序列L(f，q)，该序列按相关性递减排列；若C对于攻击者已知，则直接从C中选取目标图片集合；否则从序列L(f，q)中选取目标图片集合；
[0018]步骤S12：定义预期的检索图片序列R
t
：
[0019]R
t
的长度为不含重复元素且其中每个元素是[0，K]中的整数。
[0020]作为一种可选的技术方案，所述步骤S2中的扰动δ应初始化为与查询图片尺寸相同，通道数为C，高度为H，宽度为W的随机张量，且满足如下条件：
[0021]||δ||
∞
≤∈，
[0022]其中||
·
||
∞
表示无穷范数；∈表示可容许的最大扰动的无穷范数。
[0023]作为一种可选的技术方案，所述步骤S3中具体包括：
[0024]步骤S31：将扰动δ叠加到查询图片q上得到得到
[0025]步骤S32：将送入图片检索模型f中得到当前的检索图片序列
[0026]作为一种可选的技术方案，所述步骤S4中具体包括：
[0027]步骤S41：选取基准图片集合B：若C已知，则直接从C中选取基准图片集合；否则从序列L(f，q)中选取基准图片集合；
[0028]步骤S42：定义样本对集合S：
[0029][0030]其中(
·
，
·
)表示无序偶对；b是B中的元素，是中的元素；
[0031]步骤S43：对于每个样本对定义其在当前的检索图片序列R上的两点分布：
[0032][0033][0034]其中<
·
，
·
>表示有序偶对，表示在R中的排名，k表示需要指定的超参数，e表示自然常数，R(b)表示图片b在列表R中的排名。
[0035]同理定义其在预期的检索图片序列R
t
上的两点分布：
[0036][0037][0038]其中表示在R
t
中的排名；
[0039]步骤S44：对于每个样本对计算其在R和R
t
上的两点分布之间的KL散度作为该样本对上的损失：
[0040][0041]其中log(
·
)表示对数函数；
[0042]步骤S45：对所有样本对上的损失求平均值作为对抗损失：
[0043][0044]其中|
·
|表示集合中的元素数量。
[0045]作为一种可选的技术方案，所述步骤S5中的黑盒优化器BO的具体形式如下：
[0046][0047]BO以扰动δ及其对抗损失函数作为输入，沿着能够降低对抗损失的方向对扰动进行一步更新并返回更新后的扰动。
[0048]作为一种可选的技术方案，所述步骤S6中的终止条件具体包括：
[0049]1)向图像检索模型发起的查询次数达到最大值；
[0050]2)当前的检索图片序列和预期的检索图片序列相同；
[0051]满足上述两个条件中一个即可终止本专利技术的有益效果如下：
[0052]1.本专利技术允许攻击者选择一定数量的目标图片，并通过调整扰动改变这些目标图片之间的相对顺序以及它们出现在检索图片序列中的位置，足以应对绝大多数的攻击情景。
[0053]2.本专利技术中所设计的对抗损失是可微分的，这意味着黑盒优化器能从对抗损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对图片检索模型的基于查询的黑盒攻击方法，其特征在于，借助黑盒优化器搜索使可微分的对抗损失最小化的扰动，通过将扰动叠加到查询图片上并送入到图片检索模型中，以改变特定图片出现在检索图片序列中位置，该方法具体包括：步骤S1：选取目标图片并定义预期的检索图片序列；步骤S2：将扰动初始化为与查询图片尺寸相同的随机张量；步骤S3：将扰动叠加到查询图片上并送入图片检索模型中得到检索图片序列；步骤S4：根据当前的检索图片序列和预期的检索图片序列计算对抗损失；步骤S5：借助黑盒优化器对扰动进行一步更新；步骤S6：若满足终止条件则返回扰动并结束；否则回到步骤S3继续执行。2.根据权利要求1所述的一种针对图片检索模型的基于查询的黑盒攻击方法，其特征在于，所述步骤S1具体包括：步骤S11：选取目标图片集合图片检索模型f的数据库C定义为包含N张不重复图片的集合：C＝{c1，c2，...，c
N
}，对于查询图片q，f会返回C中与q相关性最高的K张图片作为检索图片序列L(f，q)，该序列按相关性递减排列；若C对于攻击者已知，则直接从C中选取目标图片集合；否则从序列L(f，q)中选取目标图片集合；步骤S12：定义预期的检索图片序列R
t
：R
t
的长度为不含重复元素且其中每个元素是[0，K]中的整数。3.根据权利要求1所述的一种针对图片检索模型的基于查询的黑盒攻击方法，其特征在于，所述步骤S2中的扰动δ应初始化为与查询图片q尺寸相同，通道数为C，高度为H，宽度为W的随机张量，且满足如下条件：||δ||
∞
≤∈，其中||
·
||
∞
表示无穷范数；∈表示可容许的最大扰动的无穷范数。4.根据权利要求1所述的一种针对图片检索模型的基于查询的黑盒攻击方法，其特征在于，所述步骤S3中具体包括：步骤S31：将扰动δ叠加到查询图片...

【专利技术属性】
技术研发人员：徐行，李思远，杨阳，沈复民，申恒涛，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：