对抗样本防御训练方法、分类预测方法及装置、电子设备制造方法及图纸

本发明专利技术公开了一种对抗样本防御训练方法、分类预测方法及装置、电子设备，所述方法包括：获取训练样本；对所述训练样本进行预处理，构建第一训练集；对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练；利用训练好的模型对待测数据进行分类预测。通过无监督的鲁棒预训练和有监督的微调，本发明专利技术能够有效提高基于深度学习模型的人工智能系统的安全性、准确性和泛化性。化性。

Defense training method, classification and prediction method, device and electronic equipment against samples

【技术实现步骤摘要】
对抗样本防御训练方法、分类预测方法及装置、电子设备


[0001]本申请涉及人工智能安全领域，具体涉及一种对抗样本防御训练方法、分类预测方法及装置、电子设备。

技术介绍

[0002]近年来，机器学习尤其是深度学习的算法和模型得到了极大的发展，其应用遍布人工智能各个方面，例如：机器视觉、语音识别、自然语言处理、无人驾驶等，均取得了巨大成功。尽管机器学习算法在许多场景下，其表现甚至超过人类，然而，当输入并非呈自然发生时，机器学习系统还远远没有达到人类水平，表现出致命的缺陷。对抗样本就是一种典型的、极具攻击性的非自然呈现的输入，通过在正常样本中添加精心设计的不明显扰动，能够导致原本分类精度极高的深度神经网络彻底失效。
[0003]随着基于深度神经网络的人工智能系统在各个应用领域的流行，对抗样本将成为巨大威胁。例如，在基于人脸识别的身份验证系统中，攻击方可利用对抗样本非法获得授权；在自动驾驶场景中，攻击方可利用对抗样本干扰系统对交通信号的识别从而引发严重的交通事故，等等。因此，提高深度学习模型对对抗样本攻击的防御能力迫在眉睫。
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗样本防御训练方法，其特征在于，包括：获取训练样本；对所述训练样本进行预处理，构建第一训练集；对于所述第一训练集中的每一个样本实施随机变换，生成对应的扩增样本，构成第二训练集；对于所述第一训练集中的每一个样本，生成对应的对抗样本，构成第三训练集；利用所述第二训练集和第三训练集对神经网络进行无监督鲁棒预训练，获得预训练模型；从所述第一训练集中取出所有的有标注样本，对所述预训练模型进行有监督训练。2.如权利要求1所述的方法，其特征在于，所述随机变换选自翻转、截取、填充、遮挡、对比度变换和亮度变换。3.如权利要求1所述的方法，其特征在于，所述无监督鲁棒预训练的损失函数的形式化表示如下：其中，E表示期望，χ表示数据集的概率分布，θ表示深度神经网络的参数，l
unsup
表示无监督学习的损失函数，T(x)表示原始样本x的扩增样本，Λ
unsup
(x)表示基于无监督学习的损失函数生成的对抗样本，表示无监督鲁棒预训练的特征提取器参数，表示预训练的分类器参数。4.如权利要求1所述的方法，其特征在于，所述有监督训练的损失函数的形式化表示如下：其中，Ω表示第一训练集中有标注样本的概率分布函数，x和y分别表示有标注的原始样本及其对应的标注信息，l
sup
表示有监督学习的损失函数，Λ
sup
(x)表示在有监督训练过程中生成的对抗样本，表示有监督训练的特征提取器参数，表示有监督训练的分类器参数。5.如权利要求1所述的方法，其特征在于，对于所述第一训练集中的每一个样本，生成对应的对抗样本在原始样本x上叠加对抗扰动δ生成对抗样本，即，Λ(x)＝x+δ，其中，对抗扰动δ的形式化表示为：其中，l是机器学习模型在概率分布为χ的数据集上的训练损失函数，θ是模型的参数化表示，p表示范数，||.||
p
表示p范数下的幅值，ε表示对抗扰动的幅值上限；对应地，无监督预训练过程中，对抗样本的生成方式的形式化表示如下：其中，Λ
unsup
...

【专利技术属性】
技术研发人员：李卓蓉，韩志科，金苍宏，吴明晖，石龙翔，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：