一种基于对抗训练的文本解析方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种基于对抗训练的文本解析方法、装置及电子设备，包括：预先按照第一概率将梯度攻击随机设置在原始神经网络的任一层；获取训练样本，根据第二概率控制梯度攻击在若干次训练的发生次数；采用约束条件对梯度攻击后的目标神经网络进行约束，使得目标神经网络的输出类型与原始神经网络输出类型相同；获取待解析的文本，将待解析的文本输入目标神经网络，根据输出得到解析后的文本。本发明专利技术实施例可以调节梯度攻击发生的概率，实现同一轮训练不同批次数据之间以及同一批次数据在不同训练轮次之间可能产生干扰也可能不产生干扰；不仅适配于带着不同噪声的金融文本数据，还一定程度上提高了训练速度。还一定程度上提高了训练速度。还一定程度上提高了训练速度。

【技术实现步骤摘要】
一种基于对抗训练的文本解析方法、装置及电子设备


[0001]本专利技术涉及数据处理
，尤其涉及一种基于对抗训练的文本解析方法、装置及电子设备。

技术介绍

[0002]在深度学习领域，对抗训练是一种有效提升算法稳定性的方法，其最早应用于计算机视觉领域。它通过梯度攻击来构造对抗样本，从而使得神经网络面对噪声或者扰动时能够表现得更具鲁棒性。在自然语言处理领域，由于神经网络的输入是离散的符号，所以并不能通过梯度攻击来构造出对抗样本，但是实验证明如果我们攻击神经网络的embedding层也起到了一定的效果。因此，现今在自然语言处理领域，通过对embedding层的攻击实现对抗训练。目前，NLP研究领域的对抗训练方法核心都在于如何寻找最大的扰动。
[0003]现有对抗训练方法主要有FGSM，FGM，PGD，FreeAT，YOPO，FreeLb，SMART等。当前的改进方向和主要创新点是：如何寻找最大的扰动以及如何提高对抗训练速度。如：PGD，FreeLB和SMART技术通过循环多次逐步调整扰动来寻找最大扰动。首先FGSM和FGM一步算出对抗扰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗训练的文本解析方法,其特征在于,所述方法包括：预先按照第一概率将梯度攻击随机设置在原始神经网络的任一层；获取训练样本，根据第二概率控制梯度攻击在若干次训练的发生次数；采用约束条件对梯度攻击后的目标神经网络进行约束，使得目标神经网络的输出类型与原始神经网络输出类型相同；获取待解析的文本，将待解析的文本输入目标神经网络，根据输出得到解析后的文本。2.根据权利要求1所述的方法，其特征在于，所述预先按照第一概率将梯度攻击随机设置在原始神经网络的任一层，包括：预先按照二项分布概率将梯度攻击随机设置在原始神经网络的任一层。3.根据权利要求2所述的方法，其特征在于，所述获取训练样本，根据第二概率控制梯度攻击在若干次训练的发生次数，包括：获取训练样本，根据第二概率对梯度攻击在当次训练的发生进行控制，获取当次的训练结果，所述训练结果包括梯度攻击发生或梯度攻击未发生；获取若干次训练的训练结果，根据训练结果获取梯度攻击的发生次数。4.根据权利要求3所述的方法，其特征在于，所述采用约束条件对梯度攻击后的目标神经网络进行约束，使得目标神经网络的输出类型与原始神经网络输出类型相同，包括：采用概率分布指标或均方误差对梯度攻击后的目标神经网络进行约束，使得目标神经网络的输出类型与原始神经网络输出类型相同。5.根据权利要求4所述的方法，其特征在于，所述采用概率分布指标对梯度攻击后的目标神经网络进行约束，包括:使用JS散度或KL散度对梯度攻击后的目标神经网络进行约束。6.根据权利要求5所述的方法，其特征在于，所述预先按照二项分布概率将梯度攻击随机设置在原始神经网络的任一层，包括：设置梯度攻击在一次网络的反向传播中只发生在一个网络层，一个神经网络共有N层，则第l层发生梯度攻击的概率是p
l
，并且p
l
服从伯努利分布，则得到对抗训练的模型为：其中θ表示模型的参数，表示数据集D上所有样本的平均，...

【专利技术属性】
技术研发人员：甘伟超，林远平，喻广博，邹鸿岳，周靖宇，
申请(专利权)人：北京快确信息科技有限公司，
类型：发明
国别省市：