样本处理方法及装置、存储介质制造方法及图纸

技术编号:41419208 阅读:25 留言:0更新日期:2024-05-28 20:20
本发明专利技术公开了一种样本处理方法及装置、存储介质,该方法包括:获取输入样本,所述输入样本为图像或视频流;在所述输入样本上遍历地叠加防护补丁,得到一组第一样本;分别将所述第一样本输入到神经网络中,得到每个第一样本对应的输出信息;根据所述输出信息确定所述输入样本是否存在对抗样本补丁。利用本发明专利技术方案,可以对输入样本是否存在对抗样本补丁实时进行检测,有效防止对抗样本攻击。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体地涉及一种样本处理方法及装置、存储介质


技术介绍

1、随着人工智能技术的发展,人工智能神经网络被大量应用于各个行业和场景中。然而,由于人工智能算法中本身还存在着弱鲁棒性、不可解释性、偏见歧视等技术局限,因此对人工智能系统的新型安全攻击方法也逐步涌现,其中一类攻击方法被称为对抗样本攻击。对抗样本攻击的攻击思路是对样本进行微小的扰动,该微小扰动人类无法感知,但却可以使得人工智能神经网络做出错误的决策。由于该攻击方法具有一定的迁移性,即该攻击不要求攻击者知道被攻击目标神经网络的具体设计细节,仅需要知道被攻击目标神经网络的大致功能,即可基于本地相同功能神经网络进行攻击后迁移到被攻击目标,因此该攻击方法具有较大威胁性。

2、目前针对对抗样本攻击的防护方法有对抗训练,对抗训练的方法是人为将带有对抗样本补丁的样本进行筛选和正确标注后,再对神经网络进行重新训练,以此提升神经网络的鲁棒性。对抗训练的前提是防护者能够获取到对抗样本补丁,并且能够通过人工方式对带有对抗样本补丁的样本进行筛选和正确标注。由于防护者首先需要获取对抗样本补丁后本文档来自技高网...

【技术保护点】

1.一种样本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述输入样本上遍历地叠加防护补丁,得到一组第一样本包括:

3.根据权利要求1所述的方法,其特征在于,所述防护补丁具有设定大小和形状。

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述输出信息确定所述输入样本是否存在对抗样本补丁包括:

6.根据权利要求5所述的方法,其特征在于,所述根据差异比较结果确定所述输入样本是否存在对抗样本补丁包括:

>7.根据权利要求6...

【技术特征摘要】

1.一种样本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述输入样本上遍历地叠加防护补丁,得到一组第一样本包括:

3.根据权利要求1所述的方法,其特征在于,所述防护补丁具有设定大小和形状。

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述输出信息确定所述输入样本是否存在对抗样本补丁包括:

6.根据权利要求5所述的方法,其特征在于,所述根据差异比较结果确定所述输入样本是否存在对抗样本补丁包括:

7.根据权利要求6所述的方法,其特征在于,所述输出信息包括以下任意一种或多种:目标数量、目标框位置、置信度。

8.根据权利要求6所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述根据差异比较结果确定对抗样本补丁包括:

10.根据权利要求8所述的方法,其特征在于,所述方法还包括:

11.根据权利要求1至10任一项所述的方法,...

【专利技术属性】
技术研发人员:单伟君李鑫陈凯杨雪张弛王立辉李清俞军
申请(专利权)人:上海复旦微电子集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1