当前位置: 首页 > 专利查询>清华大学专利>正文

一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法技术

技术编号:26731403 阅读:55 留言:0更新日期:2020-12-15 14:33
本发明专利技术提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法,属于机器学习系统安全和黑盒攻击技术领域。该方法首先确定待攻击的黑盒模型和迁移预训练模型,获取待攻击的原始样本及其标签后,通过对原始样本不断施加扰动,利用经过迁移预训练模型计算的雅可比矩阵的奇异值分解结果,通过迭代计算不断更新扰动,最终使得施加扰动后的样本通过黑盒模型分类不再对应正确标签。本发明专利技术具有仅需要一个可迁移的预训练网络而无需任何训练样本的特点,可以大幅提升传统黑盒模型的攻击效率。

【技术实现步骤摘要】
一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
本专利技术属于机器学习系统安全和黑盒攻击的
,特别提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法。
技术介绍
随着深度学习的发展,有关深度学习系统的安全性问题逐渐引发机器学习社区的关注。由于一般深度学习系统的提供商并不会披露其系统内部的具体实现,因而黑盒攻击往往是一种对深度学习系统有效的攻击手段。具体而言,黑盒攻击通过迭代构造一系列的系统输入样本,在保证每次的输入样本与待攻击的样本差别很小的情况下,逐步降低深度学习系统对此样本的识别程度,最终到某一次输入的时候输出分类完全错误。在鲁棒学习中,我们称这一过程结束的输入样本为对抗样本。黑盒模型常用的评价标准是攻击效率,包括攻击每个样本的平均问询黑盒模型的次数,对抗样本相对原待攻击样本的平均扰动距离及总体的攻击成功率。黑盒攻击在实际场景中有着丰富的应用,比如在计算机视觉中,黑盒攻击可以针对一张特定的图像进行微小的扰动,使得一个原本可以将原始图像正确分类的神经网络对扰动后的图像做出错误的分类判断,而往往人类的视觉系统察觉不出扰动前本文档来自技高网...

【技术保护点】
1.一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法,其特征在于,包括以下步骤:/n1)确定待攻击的黑盒模型F,;/n确定迁移预训练模型

【技术特征摘要】
1.一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法,其特征在于,包括以下步骤:
1)确定待攻击的黑盒模型F,;
确定迁移预训练模型其中该迁移预训练模型的输入层到表征层为函数h,表征层到输出层为函数g;
选取待攻击的一个输入样本和其对应的标签记为(x,y),其中x代表该待攻击的输入样本,y为x对应的标签;将该待攻击的输入样本作为原始样本;设定扰动步长α和每轮选取特征向量数目K;
2)将原始样本x输入黑盒模型F,计算该原始样本通过黑盒模型F的对应输出概率向量p=p(·|x);
令δ=0,δ表示对原始样本施加的扰动,生成样本x+δ;
3)将样本x+δ输入迁移预训练模型,计算该样本对应的函数h的雅可比矩阵J=Jh(x+δ);
4)对步骤3)获得的雅可比矩阵J进行奇异值分解,得到对应的前K个归一化的右特征值向量V1,...,VK,令i=1;
5)对i的值进行判定:若i≤K,则进入步骤6);否则重新返回步骤3);
6)迭代计算扰动δ,最终使得样本x+δ通过黑盒模型分类不再对应正确标签y,具体步骤如下:
6-1)令x+δ沿向量Vi的负向方向移动长度为单次扰动步长α的距离,计算黑盒模型F的对应负向输出概率向量pneg=p(·|x+δ-αVi);

【专利技术属性】
技术研发人员:崔鹏周琳钧
申请(专利权)人:清华大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1