当前位置: 首页 > 专利查询>广州大学专利>正文

基于遗忘学习和隐式超梯度的后门防御方法技术

技术编号:44290023 阅读:22 留言:0更新日期:2025-02-14 22:24
本发明专利技术公开了一种基于遗忘学习和隐式超梯度的后门防御方法,方法包括:假设后门标签,生成标签相应可能的后门触发器并进行参数搜索,获取静态后门触发器,添加扰动,令优化器向偏离正确标签方向优化后门标签,适配动态后门触发器;利用均衡样本进行概率叠加;根据静态触发器和动态触发器的参数、以及预测概率累加分布,计算后门标签的综合得分,计算目标标签;提取模型特征等信息为训练集,将训练后的后门检测模型用于模型后门检测;构造混合数据集,将混合数据集进行数据增强;利用增强数据集合对分类模型进行遗忘训练和多阶段的隐式超梯度训练,将分类模型的后门删除。本发明专利技术有效地从神经网络模型中删除后门,以确保模型的安全性和可靠性。

【技术实现步骤摘要】

本专利技术属于信息安全的,具体涉及一种基于遗忘学习和隐式超梯度的后门防御方法


技术介绍

1、随着人工智能技术的快速发展,在图像识别、自然语言处理、医疗诊断等领域神经网络模型得到了广泛应用。然而,这些模型的安全性问题也逐渐暴露出来。ai后门问题就是其中之一,它对模型的安全性和可靠性构成了严重威胁。ai后门,或称为神经网络后门,是一种安全漏洞,攻击者通过在训练过程中植入特定的触发器(后门),使得模型在遇到某些特定的输入模式时,产生预设的错误输出。ai后门的存在不仅威胁到单个模型的安全性,更可能对整个系统的可靠性造成影响。例如,如果自动驾驶系统中的神经网络模型被植入后门,车辆错误识别交通信号、行人或障碍物导致引发交通事故。因此,研究如何检测和防御ai后门攻击,已经成为人工智能安全领域的一个重要研究方向。

2、模型中后门识别可分为两大类,第一大类是基于触发器逆向重构的方法,通过逆向工程生成可能的触发器,并将其输入到被检测模型中,若能够成功触发且满足特定条件(如触发成功率、触发器面积大小等),则认为模型存在后门模型。第二大类是基于模型内部特征表示,从模本文档来自技高网...

【技术保护点】

1.一种基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述将所有标签假设为后门标签,生成标签相应可能的后门触发器,包括:

3.根据权利要求2所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述使用梯度下降对mask和pattern进行优化,如下式:

4.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述调整触发成功率并通过触发代价的联合调优搜索,包括:

5.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,...

【技术特征摘要】

1.一种基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述将所有标签假设为后门标签,生成标签相应可能的后门触发器,包括:

3.根据权利要求2所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述使用梯度下降对mask和pattern进行优化,如下式:

4.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述调整触发成功率并通过触发代价的联合调优搜索,包括:

5.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述添加扰动,令优化器向偏离正确标签方向优化后门标签,包括:

6.根据权利要求1所述基于遗忘学习和隐式超梯度的后门防御方法,其特征在于,所述利用均衡样本对每个标签的预测概率进行累加并归一化,包括:

...

【专利技术属性】
技术研发人员:王乐徐颖慧刘治彤林尧
申请(专利权)人:广州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1