一种攻击检测方法及装置制造方法及图纸

本申请公开了一种攻击检测方法及装置，涉及AI领域，解决了静态防御方法对应用模型进行重构，导致应用模型处理样本的精度降低的问题。该攻击检测方法包括：首先，攻击检测模型获取推理请求，该推理请求携带有应用模型的待处理数据集，待处理数据集包括一个或多个样本。其次，攻击检测模型检测待处理数据集中是否存在物理对抗样本。最后，若待处理数据集中存在物理对抗样本，攻击检测模型对应用模型执行防护处理。本实施例采用不同于应用模型的攻击检测模型来检测推理请求中是否具有物理对抗样本，由于应用模型无需抵抗物理对抗攻击，因此无需对应用模型进行模型重训练或防御性蒸馏等，避免了对应用模型进行重构导致应用模型的精度降低。精度降低。精度降低。

【技术实现步骤摘要】
一种攻击检测方法及装置
[0001]本申请要求于2021年8月20日提交国家知识产权局、申请号为202110959827.5、申请名称为“攻击检测的方法、装置和系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及人工智能(artificial intelligence，AI)领域，尤其涉及一种攻击检测方法及装置。

技术介绍

[0003]深度神经网络(Deep Neural Network，DNN)广泛应用于计算机视觉(Computer Vision，CV)、语音识别、自然语言处理(Natural Language Processing，NLP)等领域。在基于DNN的应用模型的使用过程中，攻击者为窃取应用模型的参数配置或数据等，采用数字对抗攻击或物理对抗攻击的方式来对该应用模型展开攻击。在数字对抗攻击中，攻击者可控制位(bit)级的数据来攻击应用模型；在物理对抗攻击中，攻击者基于真实的物理世界中构造物理对抗样本(adversarial example)对该应用模型展开攻击。
[0004]以检测物理对抗攻击为例，应用模型采用模型相关的静态防御方法来检测物理对抗攻击，如该静态防御方法为模型重训练方法或防御性蒸馏。而静态防御方法依赖于对应用模型进行重构，导致应用模型处理样本的精度降低。因此，如何检测物理对抗攻击成为目前亟需解决的问题。

技术实现思路

[0005]本申请提供一种攻击检测方法及装置，解决了静态防御方法对应用模型进行重构，导致应用模型处理样本的精度降低的问题。
[0006]为达到上述目的，本申请采用如下技术方案。
[0007]第一方面，本申请的实施例提供一种攻击检测方法，该方法可应用于终端设备，或者该方法可应用于可以支持终端设备实现该方法的服务器，例如该服务器包括芯片系统，方法包括：首先，攻击检测模型获取推理请求，该推理请求携带有应用模型的待处理数据集，待处理数据集包括一个或多个样本。其次，攻击检测模型检测待处理数据集中是否存在物理对抗样本。最后，若待处理数据集中存在物理对抗样本，攻击检测模型对应用模型执行防护处理。
[0008]本实施例采用不同于应用模型的攻击检测模型来检测推理请求中是否具有物理对抗样本，由于应用模型无需抵抗物理对抗攻击(adversarial attack)，因此无需对应用模型进行模型重训练或防御性蒸馏等，避免了对应用模型进行重构导致应用模型的精度降低。
[0009]另外，在一些可能的情形中，攻击检测模型还可以利用检测到的物理对抗样本进行训练，以优化攻击检测模型的攻击检测能力，提供物理对抗攻击检测的准确率。
[0010]在一种可选的实现方式中，攻击检测模型是依据训练数据集确定的，训练数据集包括针对应用模型的多个物理对抗样本和多个标准样本。通常，专用于模型训练和生成的计算设备的处理能力比终端的处理能力更强，相较于终端来训练得到攻击检测模型，若攻击检测模型的训练过程由计算设备(如服务器)执行，攻击检测模型的训练时间会更短，训练效率更高。终端可以利用攻击检测模型来确定推理请求中是否具有物理对抗样本，进而在推理请求具有物理对抗样本的情况下，对应用模型执行防护处理，由于应用模型无需抵抗物理对抗攻击，因此服务器无需对应用模型进行模型重训练或防御性蒸馏等，避免了对应用模型进行重构导致应用模型的精度降低。
[0011]在另一种可选的实现方式中，攻击检测模型检测待处理数据集中是否存在物理对抗样本，包括：对于待处理数据集包括的每一个样本，攻击检测模型输出样本的安全信息；该安全信息用于指示样本包含物理对抗扰动(adversarial perturbation)的置信度。以及，若样本的置信度达到第一阈值，攻击检测模型将样本识别为针对应用模型的物理对抗样本。示例的，若待处理数据集中仅包括一个样本，当该样本被攻击检测模型识别为物理对抗样本的情况下，攻击检测模型可以将该推理请求作为针对于应用模型的攻击请求。
[0012]在另一种可选的实现方式中，样本的安全信息是由攻击检测模型包含的特征检测模块获取的。在本实施例中，由于攻击检测模型可以对推理请求携带的样本进行物理对抗攻击检测，替代了应用模型抵抗物理对抗攻击的过程，使得攻击检测模型替代了应用模型实现物理对抗攻击检测的功能；因此，应用模型无需为了抵抗物理对抗攻击而进行重构，避免了通常技术中应用模型的重构过程所导致的应用模型的精度降低。
[0013]在另一种可选的实现方式中，攻击检测模型检测待处理数据集中是否存在物理对抗样本，还包括：攻击检测模型依据待处理数据集包括的多个样本的安全信息，输出待处理数据集的检测结果。在本实施例中，若待处理数据集包括多个样本，则攻击检测模型可以依据这多个样本中每个样本包含物理对抗扰动的置信度，确定推理请求的物理对抗攻击检测的检测结果，避免了攻击检测模型在偶然的情况下，错误的判定待处理数据集存在少量物理对抗样本，进而确定推理请求为攻击请求，提高了攻击检测模型进行物理对抗攻击检测的准确率。
[0014]在另一种可选的实现方式中，攻击检测模型依据待处理数据集包括的多个样本的安全信息，输出待处理数据集的检测结果，包括：攻击检测模型将物理对抗样本存储在攻击检测模型包含的序列检测模块中；并在多个样本中物理对抗样本的数量大于或等于第一数量的情况下，序列检测模块确定推理请求为攻击请求。如此，在本实施例中，在推理请求具有一定数量的物理对抗样本的情况，序列检测模块才识别该推理请求为攻击请求，避免特征检测模块在错误的识别出推理请求中具有单个或少量的物理对抗样本时，错误的识别推理请求为攻击请求，提高了攻击检测模型的识别准确率。
[0015]可选的，在应用检测模型和攻击检测模型为串行部署的情况下，若推理请求中未携带有物理对抗样本，攻击检测模型将推理请求转发至应用模型，以便该应用模型对推理请求进行AI处理。由于应用模型接收到推理请求之前，攻击检测模型已对该推理请求进行物理对抗攻击的检测，以保证应用模型获取到的推理请求中未携带有物理对抗样本，这极大的降低了应用模型被攻击的概率，提高了应用模型的安全性。
[0016]在另一种可选的实现方式中，攻击检测模型对应用模型执行防护处理，包括：攻击
检测模型阻断应用模型处理推理请求。示例的，被保护的应用模型无需做任何改动，攻击检测模型将推理请求包含的输入样本是否为物理对抗样本，并将反馈结果给相应的访问控制机制，由攻击检测模型对该物理对抗攻击进行阻断。
[0017]在一种可能的示例中，“阻断”是指将应用模型的输出信息设置为无效，例如，攻击检测模型阻断应用模型处理推理请求，包括：攻击检测模型将应用模型输出的处理结果设置为无效结果。由于应用模型输出的处理结果被设置为无效结果，使得该应用模型针对于物理对抗样本的AI处理不存在有效输出，攻击者利用该推理请求包含的物理对抗样本无法获取到应用模型的模型参数或其他数据，提高了应用模型的安全性。
[0018]在另一种可能的示例中，“阻断”是指丢弃应用模型的输入信息，例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种攻击检测方法，其特征在于，所述方法包括：攻击检测模型获取推理请求，所述推理请求携带有应用模型的待处理数据集，所述待处理数据集包括一个或多个样本；所述攻击检测模型检测所述待处理数据集中是否存在物理对抗样本；若所述待处理数据集中存在物理对抗样本，所述攻击检测模型对所述应用模型执行防护处理。2.根据权利要求1所述的方法，其特征在于，所述攻击检测模型是依据训练数据集确定的，所述训练数据集包括针对所述应用模型的多个物理对抗样本和多个标准样本。3.根据权利要求1或2所述的方法，其特征在于，所述攻击检测模型检测所述待处理数据集中是否存在物理对抗样本，包括：对于所述待处理数据集包括的每一个样本，所述攻击检测模型输出所述样本的安全信息；所述安全信息用于指示所述样本包含物理对抗扰动的置信度；若所述样本的置信度达到第一阈值，所述攻击检测模型将所述样本识别为针对所述应用模型的物理对抗样本。4.根据权利要求3所述的方法，其特征在于，所述样本的安全信息是由所述攻击检测模型包含的特征检测模块获取的。5.根据权利要求3或4所述的方法，其特征在于，所述攻击检测模型检测所述待处理数据集中是否存在物理对抗样本，还包括：所述攻击检测模型依据所述待处理数据集包括的多个样本的安全信息，输出所述待处理数据集的检测结果。6.根据权利要求5所述的方法，其特征在于，所述攻击检测模型依据所述待处理数据集包括的多个样本的安全信息，输出所述待处理数据集的检测结果，包括：所述攻击检测模型将所述物理对抗样本存储在所述攻击检测模型包含的序列检测模块中；若所述多个样本中物理对抗样本的数量大于或等于第一数量，所述序列检测模块确定所述推理请求为攻击请求。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述攻击检测模型对所述应用模型执行防护处理，包括：所述攻击检测模型阻断所述应用模型处理所述推理请求。8.根据权利要求7所述的方法，其特征在于，所述攻击检测模型阻断所述应用模型处理所述推理请求，包括：所述攻击检测模型将所述应用模型输出的处理结果设置为无效结果。9.根据权利要求7所述的方法，其特征在于，所述攻击检测模型阻断所述应用模型处理所述推理请求，包括：所述攻击检测模型丢弃所述推理请求。10.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述方法还包括：所述攻击检测模型记录告警日志，所述告警日志用于指示所述推理请求包括物理对抗样本。
11.一种攻击检测装置，其特征在于，所述攻击检测装置应用于攻击检测模型，所述攻击检测装置包括：通信单元，用于获取推理请求，所述推理请求携带有应用模型的待处理数据集，所述待处理数...

【专利技术属性】
技术研发人员：唐文，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：