神经网络后门攻击的检测方法、装置和电子设备制造方法及图纸

本说明书实施例提出了一种神经网络后门攻击的检测方法、装置和电子设备，其中，上述神经网络后门攻击的检测方法中，在获取训练数据之后，利用上述训练数据对神经网络进行训练，获得训练好的神经网络模型，然后获取上述训练数据中第一标签类别对应的训练数据，将第一标签类别对应的训练数据输入到训练好的神经网络模型中，获得上述神经网络模型的隐层数据；然后，将上述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测。

Detection method, device and electronic equipment of back door attack based on Neural Network

【技术实现步骤摘要】
神经网络后门攻击的检测方法、装置和电子设备
本说明书实施例涉及人工智能
，尤其涉及一种神经网络后门攻击的检测方法、装置和电子设备。
技术介绍
随着人工智能的发展，神经网络模型已经广泛应用到各行各业，在各个场景发挥着非常重要的作用。在训练神经网络模型时，训练数据可能来源于不同的设备和/或不同的数据提供方，因此训练数据中极易被加入特定的“后门”，从而导致最后生成的模型存在“后门”，神经网络模型的识别准确性大大降低，这种现象被称之为“数据投毒”（datapoison）。因此需要提供一种检测训练数据和神经网络模型是否存在后门的方法。
技术实现思路
本说明书实施例提供了一种神经网络后门攻击的检测方法、装置和电子设备，以实现对神经网络模型是否受到后门攻击进行检测，提高神经网络模型的识别准确性。第一方面，本说明书实施例提供一种神经网络后门攻击的检测方法，包括：获取训练数据；利用所述训练数据对神经网络进行训练，获得训练好的神经网络模型；获取所述训练数据中第一标签类别对应的训练数据；将所述第一标签类别对应的训练数据输入到所述训练好的神经网络模型中，获得所述神经网络模型的隐层数据；将所述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测。上述神经网络后门攻击的检测方法中，在获取训练数据之后，利用上述训练数据对神经网络进行训练，获得训练好的神经网络模型，然后获取上述训练数据中第一标签类别对应的训练数据，将第一标签类别对应的训练数据输入到训练好的神经网络模型中，获得上述神经网络模型的隐层数据；然后，将上述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测，从而可以实现对神经网络模型是否受到后门攻击进行检测，提高了神经网络模型的识别准确性，并且本实施例基于每个标签类别对应的训练数据分别检测，提高了后门攻击的检测精度。其中一种可能的实现方式中，所述将所述隐层数据进行聚类包括：将所述隐层数据聚为两类，分别为第一类别和第二类别。其中一种可能的实现方式中，所述根据聚类结果对神经网络后门攻击进行检测包括：根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测。其中一种可能的实现方式中，所述根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测包括：将所述第一类别中包括的隐层数据的第一数量与所述第二类别中包括的隐层数据的第二数量进行比较；计算所述第一数量与所述第二数量中的较小值与较大值的比值；如果所述比值小于预定阈值，则获取所述较小值对应类别中的隐层数据；判断所述隐层数据对应的训练数据与所述训练数据的标签类别是否相符；如果不相符，则确定所述神经网络模型存在后门攻击。其中一种可能的实现方式中，所述将所述隐层数据进行聚类包括：通过K均值聚类算法，将所述隐层数据进行聚类。第二方面，本说明书实施例提供一种神经网络后门攻击的检测装置，包括：获取模块，用于获取训练数据；训练模块，用于利用所述获取模块获取的训练数据对神经网络进行训练，获得训练好的神经网络模型；所述获取模块，还用于获取所述训练数据中第一标签类别对应的训练数据；以及将所述第一标签类别对应的训练数据输入到所述训练好的神经网络模型中，获得所述神经网络模型的隐层数据；聚类模块，用于将所述获取模块获取的隐层数据进行聚类；检测模块，用于根据所述聚类模块的聚类结果对神经网络后门攻击进行检测。其中一种可能的实现方式中，所述聚类模块，具体用于将所述隐层数据聚为两类，分别为第一类别和第二类别。其中一种可能的实现方式中，所述检测模块，具体用于根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测。其中一种可能的实现方式中，所述检测模块包括：比较子模块，用于将所述第一类别中包括的隐层数据的第一数量与所述第二类别中包括的隐层数据的第二数量进行比较；计算子模块，用于计算所述第一数量与所述第二数量中的较小值与较大值的比值；数据获取子模块，用于当所述计算子模块获得的比值小于预定阈值时，获取所述较小值对应类别中的隐层数据；判断子模块，用于判断所述数据获取子模块获取的隐层数据对应的训练数据与所述训练数据的标签类别是否相符；确定子模块，用于当训练数据与所述训练数据的标签类别不相符时，确定所述神经网络模型存在后门攻击。其中一种可能的实现方式中，所述聚类模块，具体用于通过K均值聚类算法，将所述隐层数据进行聚类。第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。第四方面，本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第二方面提供的方法。应当理解的是，本说明书实施例的第二~四方面与本说明书实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。附图说明为了更清楚地说明本说明书实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1（a）~图1（b）为现有相关技术中神经网络模型受到后门攻击的示意图；图2为本说明书神经网络后门攻击的检测方法一个实施例的流程图；图3为本说明书神经网络后门攻击的检测方法另一个实施例的流程图；图4为本说明书神经网络后门攻击的检测方法再一个实施例的流程图；图5为本说明书神经网络后门攻击的检测装置一个实施例的结构示意图；图6为本说明书神经网络后门攻击的检测装置另一个实施例的结构示意图；图7为本说明书电子设备一个实施例的结构示意图。具体实施方式为了更好的理解本说明书的技术方案，下面结合附图对本说明书实施例进行详细描述。应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。现有相关技术中，在训练神经网络模型时，存在“数据投毒”的现象，导致最后生成的模型存在“后门”，神经网络模型的识别准确性大大降低。举例来说，图1（a）~图1（b）为现有本文档来自技高网...

【技术保护点】
1.一种神经网络后门攻击的检测方法，包括：/n获取训练数据；/n利用所述训练数据对神经网络进行训练，获得训练好的神经网络模型；/n获取所述训练数据中第一标签类别对应的训练数据；/n将所述第一标签类别对应的训练数据输入到所述训练好的神经网络模型中，获得所述神经网络模型的隐层数据；/n将所述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测。/n

【技术特征摘要】
1.一种神经网络后门攻击的检测方法，包括：
获取训练数据；
利用所述训练数据对神经网络进行训练，获得训练好的神经网络模型；
获取所述训练数据中第一标签类别对应的训练数据；
将所述第一标签类别对应的训练数据输入到所述训练好的神经网络模型中，获得所述神经网络模型的隐层数据；
将所述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测。


2.根据权利要求1所述的方法，其中，所述将所述隐层数据进行聚类包括：
将所述隐层数据聚为两类，分别为第一类别和第二类别。


3.根据权利要求2所述的方法，其中，所述根据聚类结果对神经网络后门攻击进行检测包括：
根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测。


4.根据权利要求3所述的方法，其中，所述根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测包括：
将所述第一类别中包括的隐层数据的第一数量与所述第二类别中包括的隐层数据的第二数量进行比较；
计算所述第一数量与所述第二数量中的较小值与较大值的比值；
如果所述比值小于预定阈值，则获取所述较小值对应类别中的隐层数据；
判断所述隐层数据对应的训练数据与所述训练数据的标签类别是否相符；
如果不相符，则确定所述神经网络模型存在后门攻击。


5.根据权利要求1-4任意一项所述的方法，其中，所述将所述隐层数据进行聚类包括：
通过K均值聚类算法，将所述隐层数据进行聚类。


6.一种神经网络后门攻击的检测装置，包括：
获取模块，用于获取训练数据；
训练模块，用于利用所述获取模块获取的训练数据对神经网络进行训练，获得训练好的神经网络模型；
所述获取模块，还用于获取所述训练数据中第一标签类别对应的训练数据；以及将所述第一标签类别...

【专利技术属性】
技术研发人员：林建滨，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33