通过使用局部线性度正则化训练更安全的神经网络制造技术

用于训练神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。方法中的一种包括：使用神经网络并根据网络参数的当前值处理每个训练输入以为训练输入生成网络输出；通过评估损失函数计算每个训练输入的相应损失；从多个可能的扰动中识别最大非线性扰动；以及通过执行神经网络训练过程的迭代来确定对神经网络参数的当前值的更新，以减少训练输入的相应损失并减少所识别的最大非线性扰动的损失函数的非线性度。扰动的损失函数的非线性度。扰动的损失函数的非线性度。

【技术实现步骤摘要】
【国外来华专利技术】通过使用局部线性度正则化训练更安全的神经网络


[0001]本说明书涉及训练安全的、即对恶意行为者的攻击鲁棒的神经网络。

技术介绍

[0002]神经网络是机器学习模型，它采用非线性单元的一层或多层来预测所接收到的输入的输出。除了输出层之外，一些神经网络包括一个或多个隐藏层。每个隐藏层的输出被用作对于在网络中下一层(即，下一个隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从所接收到的输入生成输出。

技术实现思路

[0003]本说明书描述了一种系统，该系统实现为在一个或多个位置的一个或多个计算机上的计算机程序，该系统训练神经网络以抵抗对抗性攻击。
[0004]根据一方面，提供了一种训练具有多个网络参数的神经网络的方法，以特别是提供更安全的神经网络(一种增加神经网络的安全性的方法)。该方法可以包括获得多个训练输入，并且对于多个训练输入中的每一个，获得该训练输入的相应目标输出。该方法可以进一步包括在多个训练输入中的每一个上训练神经网络。该训练可以包括使用神经网络并根据网络参数的当前值处理训练输入中的每一个以为训练输入中的每一个生成相应的网络输出。该训练可以进一步包括通过评估损失函数来计算每个训练输入的相应损失。损失函数可以测量以下两者之间的差：(i)神经网络通过处理输入
‑
输出对中的输入生成的输出和(ii)输入
‑
输出对中的输出。计算训练输入中每一个的损失可以包括评估在输入
‑
输出对处的损失函数，该输入
‑
输出对包括训练输入和用于训练输入的目标输出。该训练可以进一步包括从多个可能的扰动中识别最大非线性扰动。最大非线性扰动可以是以下扰动，对于该扰动，当在输入
‑
输出对上评估时损失函数是最非线性的，该输入
‑
输出对包括(i)通过将可能的扰动应用于给定的训练输入而生成的扰动训练输入和(ii)用于给定训练输入的目标输出。该训练可以进一步包括通过执行神经网络训练过程的迭代来确定对神经网络参数的当前值的更新，以减少训练输入的相应损失并减少所识别的最大非线性扰动的损失函数的非线性度。
[0005]该方法可以包括以下特征。训练输入可以是图像。识别最大非线性扰动可以包括初始化扰动。
[0006]对于一个或多个迭代中的每一个，该识别可以进一步包括以下特征(单独的或组合的)：对于训练输入中的每一个，通过将扰动应用于训练输入来生成相应的扰动训练输入。对于训练输入中的每一个，使用神经网络并根据网络参数的当前值处理扰动的训练输入，以为扰动的训练输入生成网络输出。对于训练输入中的每一个，使用用于扰动的训练输入的网络输出，确定局部线性度度量相对于扰动并在训练输入的扰动的输入处评估的梯度。该局部线性度度量可以测量损失函数在输入
‑
输出对上评估时的非线性程度，该输入
‑
输出对包括(i)扰动的训练输入和(ii)用于训练输入的目标输出。该识别可以进一步包括
通过对训练输入的梯度求平均来生成局部线性度度量的平均梯度。该识别可以进一步包括使用平均梯度更新扰动。该识别可以进一步包括选择在一次或多次迭代的最后一次迭代之后的扰动作为最大非线性扰动。
[0007]局部线性度度量可以是以下两者之间的绝对差：(1)在包括(i)扰动的训练输入和(ii)用于训练输入的目标输出的输入
‑
输出对处评估的损失函数；以及(2)在输入
‑
输出对处评估的损失函数的一阶泰勒展开式。确定对神经网络参数的当前值的更新可以包括：执行神经网络训练过程的迭代以最小化局部线性度正则化损失函数，该损失函数至少测量多个训练输入和相应损失和所识别的最大非线性扰动的非线性。
[0008]执行神经网络训练过程的迭代可以包括：针对多个训练示例中的每一个，确定相对于局部线性度正则化损失函数的网络参数的相应梯度。该执行可以进一步包括从多个训练示例的相应梯度确定相对于网络参数的平均梯度。执行可以进一步包括根据平均梯度确定对网络参数的当前值的更新。执行可以进一步包括通过将更新应用于网络参数的当前值来生成网络参数的更新值。
[0009]局部线性度正则化损失函数可以包括测量多个训练示例的平均损失的第一项。局部线性度正则化损失函数可以包括第二项，其测量在以下两者之间的绝对差的跨多个训练输入的平均值：(i)在输入
‑
输出对处评估的损失函数，该输入
‑
输出对包括1)利用最大非线性扰动扰动的训练输入和2)用于训练输入的目标输出；以及，(ii)在输入
‑
输出对处评估的损失函数的一阶泰勒展开式，该输入
‑
输出对包括1)利用最大非线性扰动扰动的训练输入和2)用于训练输入的目标输出。局部线性度正则化损失函数可以包括第三项，该第三项测量在最大非线性扰动和相对于在输入
‑
输出对处评估的损失函数的训练输入的梯度之间的点积的绝对值的跨多个训练输入的平均值，该输入
‑
输出对包括训练输入和用于训练输入的目标输出。
[0010]该方法可以被用于调整现有神经网络以提高神经网络的安全性。
[0011]根据另一方面，提供了一种系统，该系统包括一个或多个计算机和一个或多个存储设备，该存储设备存储指令，该指令在由一个或多个计算机执行时使该一个或多个计算机执行上述方法方面的操作。
[0012]根据另一方面，提供了一种存储指令的一个或多个计算机存储介质，该指令当由一个或多个计算机执行时使该一个或多个计算机执行上述方法方面的操作。
[0013]应当理解，在一个方面的上下文中描述的特征可以与另一方面的特征组合。
[0014]能够实施在本说明书中描述的主题的特定实施例以实现以下优点中的一个或多个。
[0015]通过如本说明书中所述训练神经网络，神经网络变得比使用传统手段训练的神经网络更安全，即，因为训练的神经网络变得比使用传统手段训练的神经网络更不容易受到对抗性攻击。当恶意攻击者故意向神经网络提交输入以试图引起不期望的行为，即，以使神经网络生成不正确的输出时，对抗性攻击发生。例如，攻击者可能向图像分类神经网络提交输入，这些输入在人眼看来属于一个对象类别，但已经被轻微扰动以试图使神经网络对输入进行错误分类。因此，由于系统变得更能抵抗这些类型的攻击，包括神经网络的计算机系统的安全性被提高。
[0016]在一个示例中，该系统可以是生物特征认证系统。神经网络可以被配置为识别面
部图像、指纹、语音模式或其他类型的生物特征数据。对抗性攻击可能试图使神经网络对输入的生物特征数据进行错误分类。在另一个示例中，该系统可以是网络安全系统。神经网络可以被配置为检测网络上的恶意或可疑数据。对抗性攻击可能试图使神经网络无法检测到此类数据。在另一个示例中，该系统可以是自动驾驶车辆或机器人系统。神经网络可以被配置为控制其操作。对抗性攻击可能采取恶意信号或环境改变的形式，例如改变的道路标志，以试图使神经网络提供与否则会本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种训练具有多个网络参数的更安全的神经网络的方法，所述方法包括：获得多个训练输入，并且对于所述多个训练输入中的每一个，获得所述训练输入的相应目标输出；以及在所述多个训练输入中的每一个上训练所述神经网络，包括：使用所述神经网络并根据所述网络参数的当前值处理所述训练输入中的每一个以为所述训练输入中的每一个生成相应网络输出；通过评估损失函数来计算所述训练输入中的每一个的相应损失，其中，所述损失函数测量以下两者之间的差：(i)由所述神经网络通过处理输入
‑
输出对中的输入生成的输出和(ii)在所述输入
‑
输出对中的输出，并且其中，计算所述训练输入中的每一个的所述损失包括评估在所述输入
‑
输出对处的所述损失函数，所述输入
‑
输出对包括所述训练输入和用于所述训练输入的所述目标输出；从多个可能的扰动中识别最大非线性扰动，其中，所述最大非线性扰动是以下扰动，对于所述扰动，所述损失函数当在输入
‑
输出对处被评估时是最非线性的，该输入
‑
输出对包括(i)通过将所述可能的扰动应用于给定的训练输入而生成的扰动训练输入和(ii)用于所述给定训练输入的目标输出；以及通过执行神经网络训练过程的迭代来确定对所述神经网络的所述参数的所述当前值的更新，以减少所述训练输入的所述相应损失并减少所识别的最大非线性扰动的所述损失函数的所述非线性度。2.根据任一前述权利要求所述的方法，其中，所述训练输入是图像。3.根据任一前述权利要求所述的方法，其中，识别所述最大非线性扰动包括：初始化扰动；对于一个或多个迭代中的每一个：对于所述训练输入中的每一个，通过将所述扰动应用于所述训练输入来生成相应的扰动的训练输入；对于所述训练输入中的每一个，使用所述神经网络并根据所述网络参数的所述当前值处理所述扰动的训练输入，以为所述扰动的训练输入生成网络输出；对于所述训练输入中的每一个，使用用于所述扰动的训练输入的所述网络输出，确定局部线性度度量相对于所述扰动并在所述训练输入的所述扰动的输入处评估的梯度，其中，所述局部线性度度量测量所述损失函数当在输入
‑
输出对处被评估时的非线性程度，该输入
‑
输出对包括(i)所述扰动的训练输入和(ii)用于所述训练输入的所述目标输出；通过对所述训练输入的所述梯度求平均来生成所述局部线性度度量的平均的梯度；以及使用所述平均的梯度更新所述扰动；以及选择在所述一次或多次迭代的最后一次迭代之后的扰动作为所述最大非线性扰动。4.根据权利要求3所述的方法，其中，所述局部线性度度量是以下两者之间的绝对差：(1)在输入
‑

【专利技术属性】
技术研发人员：秦翀立，斯文，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：