本公开的实施例公开了去除神经网络后门和图像识别的方法和装置。该方法的具体实施方式包括：获取神经网络的后门触发器；基于所述后门触发器生成测试图像集；将所述测试图像集输入所述神经网络计算后门攻击成功率；对所述神经网络的神经元进行剪枝后分析剪除的神经元对后门攻击成功率的价值；按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元。该实施方式对于少量数据情况下，在保证神经网络性能几乎不变情况下，去除神经网络中的神经后门，提供安全神经网络。提供安全神经网络。提供安全神经网络。
【技术实现步骤摘要】
去除神经网络后门和图像识别的方法和装置
[0001]本公开的实施例涉及计算机
，具体涉及去除神经网络后门和图像识别的方法和装置。
技术介绍
[0002]深度神经网络(Deep neural networks，DNNs)在广泛的关键应用中发挥着不可或缺的作用，从面部和虹膜识别等分类系统，到家庭助理的语音接口，再到创造艺术形象和引导自动驾驶汽车。
[0003]深度神经网络的黑盒性质的一个基本问题是无法彻底地测试它们的行为。深度神经网络可能出现后门或“特洛伊木马”(Trojans)。简而言之，后门是被训练成深度神经网络模型的隐藏模式，它会产生意想不到的行为，除非被某种“触发器”的输入激活，否则是无法检测到它们的。
[0004]现有后门防御方法利用神经元激活统计的方式寻找普通样本下激活较弱的神经元或者采用对抗训练的方式进行神经后门去除，无法准确定位少量中毒神经元，在数据缺乏情况下，造成神经后门去除不完全或识别精度的大幅下降。
技术实现思路
[0005]本公开的实施例提出了去除神经网络后门和图像识别的方法和装置。
[0006]第一方面，本公开的实施例提供了一种去除神经网络后门的方法，包括：获取神经网络的后门触发器；基于所述后门触发器生成测试图像集；将所述测试图像集输入所述神经网络计算后门攻击成功率；对所述神经网络的神经元进行剪枝后分析剪除的神经元对后门攻击成功率的价值；按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元。
[0007]在一些实施例中，该方法还包括：获取训练样本集；基于所述训练样本集重新训练剪枝后的神经网络。
[0008]在一些实施例中，所述获取神经网络的后门触发器，包括：根据神经网络逆合成每个类别标签的反向触发器；根据每个类别标签的反向触发器的L1范数进行异常检测，确定出L1范数最小的反向触发器作为后门触发器。
[0009]在一些实施例中，所述对所述神经网络的神经元进行剪枝后分析剪除的神经元对后门攻击成功率的价值，包括：对所述神经网络随机进行剪枝后计算剪枝后的神经网络的后门攻击成功率；执行如下剪枝步骤：分析每个被剪除的神经元对后门攻击成功率的价值；按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元；计算剪枝后的神经网络的后门攻击成功率；若剪枝后的神经网络的后门攻击成功率不收敛，则重复执行上述剪枝步骤，直到剪枝后的神经网络的后门攻击成功率收敛。
[0010]在一些实施例中，所述分析每个被剪除的神经元对后门攻击成功率的价值，包括：通过Shapley value算法将后门攻击成功率分配给每个被剪除的神经元作为神经元对后门攻击成功率的价值。
[0011]在一些实施例中，所述按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元，包括：通过贪心算法设置价值的权重；按加权后的价值由大到小的顺序从所述神经网络中剪除预定数目个神经元。
[0012]第二方面，本公开的实施例提供了一种图像识别方法，包括：获取待识别的图像；将所述图像输入根据第一方面中任一项所述方法生成的神经网络，输出图像的分类结果。
[0013]第三方面，本公开的实施例提供了一种去除神经网络后门的装置，包括：获取单元，被配置成获取神经网络的后门触发器；生成单元，被配置成基于所述后门触发器生成测试图像集；计算单元，被配置成将所述测试图像集输入所述神经网络计算后门攻击成功率；分析单元，被配置成对所述神经网络的神经元进行剪枝后分析剪除的神经元对后门攻击成功率的价值；剪枝单元，被配置成按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元。
[0014]在一些实施例中，该装置还包括训练单元，被配置成：获取训练样本集；基于所述训练样本集重新训练剪枝后的神经网络。
[0015]在一些实施例中，所述获取单元进一步被配置成：根据神经网络逆合成每个类别标签的反向触发器；根据每个类别标签的反向触发器的L1范数进行异常检测，确定出L1范数最小的反向触发器作为后门触发器。
[0016]在一些实施例中，所述分析单元进一步被配置成：对所述神经网络随机进行剪枝后计算剪枝后的神经网络的后门攻击成功率；执行如下剪枝步骤：分析每个被剪除的神经元对后门攻击成功率的价值；按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元；计算剪枝后的神经网络的后门攻击成功率；若剪枝后的神经网络的后门攻击成功率不收敛，则重复执行上述剪枝步骤，直到剪枝后的神经网络的后门攻击成功率收敛。
[0017]在一些实施例中，所述分析单元进一步被配置成：通过Shapleyvalue算法将后门攻击成功率分配给每个被剪除的神经元作为神经元对后门攻击成功率的价值。
[0018]在一些实施例中，所述剪枝单元进一步被配置成：通过贪心算法设置价值的权重；按加权后的价值由大到小的顺序从所述神经网络中剪除预定数目个神经元。
[0019]第四方面，本公开的实施例提供了一种图像识别装置，包括：获取单元，被配置成获取待识别的图像；分类单元，被配置成将所述图像输入根据第一方面中任一项所述方法生成的神经网络，输出图像的分类结果。
[0020]第五方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一项所述的方法。
[0021]第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
[0022]本公开实施例提供的去除神经网络后门的方法和装置，通过试探性剪枝来分析不同神经元对后门攻击成功率的价值，最后按价值由大到小的剪除神经元，从而以较少的剪枝量消除后门，并且可以减少神经网络性能的损失。得到了安全的神经网络，从而在图像识别过程中保证分类结果的准确率。
附图说明
[0023]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0024]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0025]图2是根据本公开的去除神经网络后门的方法的一个实施例的流程图；
[0026]图3是根据本公开的去除神经网络后门的方法的一个应用场景的示意图；
[0027]图4是根据本公开的图像识别方法的一个实施例的流程图；
[0028]图5是根据本公开的去除神经网络后门的装置的一个实施例的结构示意图；
[0029]图6是根据本公开的图像识别装置的一个实施例的结构示意图；
[0030]图7是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0031]下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种去除神经网络后门的方法，包括：获取神经网络的后门触发器；基于所述后门触发器生成测试图像集；将所述测试图像集输入所述神经网络计算后门攻击成功率；对所述神经网络的神经元进行剪枝后分析剪除的神经元对后门攻击成功率的价值；按价值由大到小的顺序从所述神经网络中剪除预定数目个神经元。2.根据权利要求1所述的方法，其中，所述方法还包括：获取训练样本集；基于所述训练样本集重新训练剪枝后的神经网络。3.根据权利要求1所述的方法，其中，所述获取神经网络的后门触发器，包括：根据神经网络逆合成每个类别标签的反向触发器；根据每个类别标签的反向触发器的L1范数进行异常检测，确定出L1范数最小的反向触发器作为后门触发器。4.根据权利要求1所述的方法，其中，所述对所述神经网络的神经元进行剪枝后分析剪除的神经元对后门攻击成功率的价值，包括：对所述神经网络随机进行剪枝后计算剪枝后的神经网络的后门攻击成功率；执行如下剪枝步骤：分析每个被剪除的神经元对后门攻击成功率的价值；根据价值从所述神经网络中剪除预定数目个神经元；计算剪枝后的神经网络的后门攻击成功率；若剪枝后的神经网络的后门攻击成功率不收敛，则重复执行上述剪枝步骤，直到剪枝后的神经网络的后门攻击成功率收敛。5.根据权利要求4所述的方法，其中，所述分析每个被剪除的神经元对后门攻击成功率的价值，包括：通过Shapley value算法将后门攻击成功率分配给每个被剪除的神经元作为神经元对后门攻击成功率的价值。6.根据权利要求4所述的方法，其中，...
【专利技术属性】
技术研发人员：关霁洋，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。