当前位置: 首页 > 专利查询>浙江大学专利>正文

一种计算机视觉神经网络模型后门攻击清除方法和系统技术方案

技术编号:40516359 阅读:38 留言:0更新日期:2024-03-01 13:33
本发明专利技术公开了一种计算机视觉神经网络模型后门攻击清除方法和系统,应用于图像识别领域,属于神经网络模型安全保护技术领域。将待处理的视觉神经网络模型分为特征提取器部分和分类器部分;对于视觉神经网络模型的每个预测类别,利用视觉神经网络模型的特征提取器部分生成多个特征表示;使用生成的特征表示构建数据集,将每个特征表示作为一个样本,样本标签为其生成时所对应的预测类别;利用构建的数据集对视觉神经网络模型的分类器部分进行微调,以清除视觉神经网络模型的后门攻击。本发明专利技术自动生成特征表示以构建微调数据集,填补了当前没有非数据依赖的神经网络模型后门清除技术的空白。

【技术实现步骤摘要】

本专利技术涉及神经网络模型安全保护,尤其涉及一种计算机视觉神经网络模型后门攻击清除方法和系统


技术介绍

1、针对深度神经网络模型的后门攻击是人工智能面临的重大安全威胁之一。被注入后门的神经网络模型对正常的输入样本表现正常,即输出正确的预测类别。然而,如果输入样本包含特定的触发器(trigger)形式,被注入后门的神经网络模型将表现出攻击者预设的异常行为,例如将该样本分类到指定的某个目标类别。

2、尽管已有多种后门清除方法,这些已有方法都建立在同一假设的基础上,即防御者一方可以访问一组不具有触发器的已打标验证样本,或者假设防御者可以接触到带有触发器的在线访问样本,这些假设在一些现实场景中可能不成立,例如:如果防御者是一个模型共享平台的维护者,那么该防御者在检查平台上的模型是否有后门的时候很可能无法接触到任何辅助样本;或者如果防御者是水平联邦学习中的服务器端,则该防御者无法接触到任何属于联邦学习参与方的本地样本。


技术实现思路

1、针对目前计算机视觉神经网络模型后门清除方法依赖辅助数据、无法在无数据本文档来自技高网...

【技术保护点】

1.一种计算机视觉神经网络模型后门攻击清除方法,其特征在于,应用于图像识别领域,包括:

2.根据权利要求1所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,将视觉神经网络模型最后的若干个全连接层作为分类器部分,其余部分作为特征提取器部分。

3.根据权利要求1所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,利用特征提取器部分生成多个特征表示的生成策略为最大化每个预测类别在分类器部分的分类置信度。

4.根据权利要求3所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,生成策略表示为:

5.根据权利要求l所述的计算机视觉神...

【技术特征摘要】

1.一种计算机视觉神经网络模型后门攻击清除方法,其特征在于,应用于图像识别领域,包括:

2.根据权利要求1所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,将视觉神经网络模型最后的若干个全连接层作为分类器部分,其余部分作为特征提取器部分。

3.根据权利要求1所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,利用特征提取器部分生成多个特征表示的生成策略为最大化每个预测类别在分类器部分的分类置信度。

4.根据权利要求3所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,生成策略表示为:

5.根据权利要求l所述的计算机视觉神经网络模型后门攻击清除方法,其特征在于,对于视觉神经网络模型的每个预测类别生成的特征表示的数量相同。

6.根据权利要求l所述的计算机视觉神经网络模型后门攻击清除方法...

【专利技术属性】
技术研发人员:纪守领付冲蒲誉文潘家雨伍一鸣
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1