检测深度神经网络(DNN)上的对抗攻击制造技术

一种用于保护具有包括一个或多个中间层的多个层的深度神经网络(DNN)的方法、装置和计算机程序产品。在该方法中，接收训练数据集。在使用所接收的训练数据集来训练DNN期间，记录与中间层相关联的激活的表示。针对表示中的至少一个或多个，训练单独的分类器(模型)。分类器共同地用于训练离群值检测模型。在训练之后，使用离群值检测模型来检测深度神经网络上的对抗输入。离群值检测模型生成预测以及给定输入是否是对抗输入的指示符。根据另一方面，响应于检测到对抗输入，采取动作以保护与DNN相关联的部署的系统。相关联的部署的系统。相关联的部署的系统。

【技术实现步骤摘要】
检测深度神经网络(DNN)上的对抗攻击


[0001]本公开一般涉及信息安全，并且具体地涉及保护机器学习模型免于错误的再现、分发和使用。

技术介绍

[0002]作为现有技术的人工智能(AI)服务的关键组成部分的机器学习技术在为诸如图像识别、语音识别和自然语言处理等各种任务提供人类级能力方面已经显示出巨大的成功。大多数主要技术公司正在构建其AI产品和服务，其中深度神经网络(DNN)作为关键组成部分。构建生产级深度学习模型是非平凡的任务，它需要大量的训练数据、强大的计算资源和人类专业知识。例如，Google的Inception v4模型是为图像分类设计的切割边缘卷积神经网络(CNN)；用具有数百万张图像的图像数据集在多个GPU上从该网络创建模型需要几天到几周的时间。此外，设计深度学习模型需要大量的机器学习专业知识和用于定义模型架构和选择模型超参数的大量试错迭代。
[0003]尽管DNN在许多任务上具有显著的性能，但最近的研究已经表明它们易受对抗攻击(adversarial attack)，这些对抗攻击被设计成有意地向DNN的输入数据注入小的扰动(也被称为“对抗示例”)以导致错误分类。如果目标DNN被用于关键应用，诸如自主驾驶、机器人技术、视觉认证和识别等，则这种攻击尤其危险。在一个报告的示例中，示出了对自主驾驶DNN模型的对抗攻击导致目标DNN将停止标志错误分类为速度限制，从而产生危险驾驶状况。
[0004]也已经提出了对抗攻击的几种形式的防御，包括对抗训练、输入预处理和不同的模型强化。尽管这些防御使得攻击者更难生成对抗示例，但是已经示出这些防御仍然是脆弱的，并且它们仍然可以生成成功的对抗攻击。
[0005]因此，在本领域中仍然需要提供解决以深度神经网络为目标的对抗攻击的技术。

技术实现思路

[0006]本文的技术源自对一般的对抗攻击的本质的洞察，即，这样的攻击通常仅保证DNN中的最终目标标签，而中间表示的标签不被保证。根据本公开，然后利用该不一致性作为存在对DNN的对抗攻击的指示符。相关的洞察是，即使对于最后的(输出)DNN层，对抗攻击也仅保证目标对抗标签，而忽略其他中间(或次级)预测之间的相关性。然后，将该附加的不一致性用作对抗攻击的进一步(或次级)指示符(或确认)。因此，本文的方法优选地检查DNN本身内的标签和可选的相关性一致性，以提供攻击指示符。
[0007]在典型的使用情况下，DNN与部署的系统相关联。在检测到对抗攻击时，并且根据本公开的另一方面，然后采取关于所部署的系统的给定动作。给定动作的性质是实现特定的，但是包括但不限于发出通知/警告、防止对抗者(adversary)提供被确定为对抗输入的输入、采取动作以保护所部署的系统、采取动作以重新训练或以其他方式保护(加固)DNN、对对抗者进行沙箱化等等。
[0008]以上已经概述了本主题的一些更相关的特征。这些特征应当被解释为仅仅是说明性的。通过以不同方式应用所公开的主题或通过修改将要描述的主题，可以获得许多其它有益结果。
附图说明
[0009]为了更完整地理解本主题及其优点，现在结合附图参考以下描述，在附图中：
[0010]图1描绘了其中可以实现说明性实施例的示例性方面的分布式数据处理环境的示例性框图；
[0011]图2是其中可以实现说明性实施例的示例性方面的数据处理系统的示例性框图；
[0012]图3描绘了包括层的集合的DNN；
[0013]图4描绘了充当部署的系统的控制器的前端的DNN；
[0014]图5描绘了根据本公开的技术的过程流，通过评估隐藏层一致性来生成离群值(outlier)检测模型；以及
[0015]图6提供了根据本公开的优选实施例的用于构建离群值检测模型的优选技术的详细描绘。
具体实施方式
[0016]现在参考附图，并且具体参考图1
‑
图2，提供了其中可以实现本公开的说明性实施例的数据处理环境的示例性示图。应当理解，图1
‑
图2仅是示例性的，并且不旨在断言或暗示关于其中可实现所公开的主题的各方面或实施例的环境的任何限制。在不脱离本专利技术的精神和范围的情况下，可以对所描述的环境进行许多修改。
[0017]现在参考附图，图1描述了其中可以实现示例性实施例的各方面的示例性分布式数据处理系统的图形表示。分布式数据处理系统100可以包括其中可以实现示例性实施例的各方面的计算机网络。分布式数据处理系统100包含至少一个网络102，其是用于在分布式数据处理系统100内连接在一起的各种设备和计算机之间提供通信链路的介质。网络102可以包括诸如有线、无线通信链路或光纤电缆的连接。
[0018]在所描述的示例中，服务器104和服务器106与存储单元108一起连接到网络102。另外，客户端110、112和114也连接到网络102。这些客户端110、112和114可以是例如个人计算机、网络计算机等。在所描述的示例中，服务器104向客户端110、112和114提供数据，诸如引导文件、操作系统映像和应用。在所描述的示例中，客户端110、112和114是服务器104的客户端。分布式数据处理系统100可以包括未示出的附加服务器、客户端和其他设备。
[0019]在所描述的示例中，分布式数据处理系统100是因特网，其中网络102表示使用传输控制协议/因特网协议(TCP/IP)协议组来相互通信的网络和网关的世界范围的集合。因特网的核心是主节点或主机计算机之间的高速数据通信线路的主干，其包括路由数据和消息的数千个商业、政府、教育和其它计算机系统。当然，分布式数据处理系统100也可以被实现为包括许多不同类型的网络，诸如例如内联网、局域网(LAN)、广域网(WAN)等。如上所述，图1旨在作为示例，而不是作为对所公开的主题的不同实施例的架构限制，并且因此，图1中所示的特定元素不应被认为是对其中可以实现本专利技术的说明性实施例的环境的限制。
[0020]现在参考图2，示出了其中可以实现说明性实施例的各方面的示例性数据处理系
统的框图。数据处理系统200是诸如图1中的客户端110的计算机的示例，实现本公开的说明性实施例的过程的计算机可用代码或指令可以位于其中。
[0021]现在参考图2，示出了其中可以实现说明性实施例的数据处理系统的框图。数据处理系统200是计算机的示例，诸如图1中的服务器104或客户端110，其中可以定位用于说明性实施例的实现处理的计算机可用程序代码或指令。在该说明性示例中，数据处理系统200包括通信结构202，其提供处理器单元204、存储器206、永久性存储装置208、通信单元210、输入/输出(I/O)单元212和显示器214之间的通信。
[0022]处理器单元204用于执行可被加载到存储器206中的软件的指令。处理器单元204可以是一个或多个处理器的集合，或者可以是多处理器内核，这取决于特定的实现方式。此外，处理器单元204可以使用一个或多个异构处理器系统来实现，其中主处理器与辅助处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种保护具有包括一个或多个中间层的多个层的深度神经网络(DNN)的方法，包括：记录与中间层相关联的激活的表示；针对一个或多个表示中的每一个，训练分类器；以及在针对每个表示训练分类器之后，使用从至少一个或多个表示训练的分类器来检测深度神经网络上的对抗输入。2.如权利要求1所述的方法，其中训练分类器生成标签阵列的集合，标签阵列是用于与中间层相关联的激活的表示的标签的集合。3.如权利要求2所述的方法，其中使用分类器还包括将相应的标签阵列的集合聚集到离群值检测模型中。4.如权利要求3所述的方法，其中离群值检测模型生成预测，连同给定输入是否是对抗输入的指示符。5.如权利要求4所述的方法，还包括响应于检测到对抗攻击而采取动作。6.如权利要求5所述的方法，其中，所述动作是以下之一：发出通知，防止对抗者提供被确定为对抗输入的一个或多个附加输入，采取动作以保护与D...

【专利技术属性】
技术研发人员：张佳龙，顾钟蔬，张智勇，MP斯托克林，IM莫洛伊，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：