基于遗忘学习和期望转移概率的后门攻击检测方法及装置制造方法及图纸

技术编号:42142844 阅读:25 留言:0更新日期:2024-07-26 23:59
本申请提供的一种基于遗忘学习和期望转移概率的后门攻击检测方法及装置,涉及机器学习领域,该方法首先对图像分类任务模型进行遗忘学习,将处理样本输入遗忘学习后的模型,根据分类结果,将分类占比最多的类别假定为第一样本标签,在CIFAR‑10数据集上,面对十分类的情形,将剩余非目标类视为第二样本标签,对第一样本标签对应的第一样本中的假第一样本和第二样本标签对应的第二样本进行逆向生成,并将得到的触发模式施加到检测集合中除去触发模式对应的样本外的其他样本中,计算期望转移概率,根据期望转移概率与检测阈值的关系,预测模型是否遭受后门攻击,该方法能够有效解决MAD(绝对偏差中值的方法)误分率高的问题。

【技术实现步骤摘要】

本申请涉及机器学习,具体而言,涉及一种基于遗忘学习和期望转移概率的后门攻击检测方法及装置


技术介绍

1、随着人工智能(ai)的蓬勃发展,深度神经网络(deep neural networks,dnn)在安全关键系统(如自动驾驶、医疗诊断和工厂控制)的设计中发挥着越来越重要的作用,以实现智能感知和控制。然而,由于深度神经网络的日益普及,它不可避免地成为各种恶意攻击者的焦点。

2、研究表明,深度神经网络容易受到不同类型攻击威胁的影响,例如,由于第三方训练数据的偏差或训练过程的不当,在测试阶段,一个微小的对抗性输入扰动就可以欺骗目标深度神经网络模型进行错误分类,从而导致灾难性后果。后门攻击已经成为深度神经网络模型的一个显著安全威胁。通过毒害部分训练数据或使用专门设计的触发模式操纵训练过程,攻击者可以欺骗dnn建立触发模式和目标标签之间的联系,从而在深度神经网络中嵌入后门。后门模型通常使用良性数据运行,在测试时如果出现某种触发模式,深度神经网络模型就会有意地进行预设预测。由于,现有技术无法对后门攻击算法进行准确的检测,导致越来越多的深度神经网络模型受本文档来自技高网...

【技术保护点】

1.一种基于遗忘学习和期望转移概率的后门攻击检测方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,对待检测的图像分类任务模型进行遗忘学习处理,得到所述图像分类任务模型对应的遗忘模型,包括:

3.如权利要求2所述的方法,其特征在于,对检测集合中的各样本进行分析,得到各样本对应的触发模式,包括:

4.如权利要求3所述的方法,其特征在于,所述触发逆向生成算法为:

5.如权利要求4所述的方法,其特征在于,所述优化算法为:

6.如权利要求5所述的方法,其特征在于,所述最大化损失算法为:

<p>7.如权利要求1...

【技术特征摘要】

1.一种基于遗忘学习和期望转移概率的后门攻击检测方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,对待检测的图像分类任务模型进行遗忘学习处理,得到所述图像分类任务模型对应的遗忘模型,包括:

3.如权利要求2所述的方法,其特征在于,对检测集合中的各样本进行分析,得到各样本对应的触发模式,包括:

4.如权利要求3所述的方法,其特征在于,所述触发逆向生成算法为:

5.如权利要求4所述的方法,其特征在于,所述优化算法为:

6.如权利要求5所述的...

【专利技术属性】
技术研发人员:王晗旭李欣袁得嵛
申请(专利权)人:中国人民公安大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1