一种神经网络模型的文本分布对抗训练方法及装置、情感分析方法制造方法及图纸

为了解决情感分析模型可能会受到对抗攻击的问题，通过训练数据集中每个样本的对抗分布，来对模型进行对抗训练从而得到一个鲁棒的神经网络模型。本发明专利技术公开了一种神经网络模型的文本分布对抗训练方法，采取对抗训练的方法，通过求每个样本的对抗分布，从而探索在整个对抗空间中的对抗样本来训练神经网络模型，提升其鲁棒性。提升其鲁棒性。提升其鲁棒性。

【技术实现步骤摘要】
一种神经网络模型的文本分布对抗训练方法及装置、情感分析方法


[0001]本专利技术涉及互联网
，尤其涉及一种神经网络模型的文本分布对抗训练方法及装置、情感分析方法。

技术介绍

[0002]随着大数据时代的来临以及人工智能相关理论和技术不断取得新的突破，作为人工智能领域的研究热点和核心技术，深度学习被广泛应用于计算机视觉、自然语言处理以及语音识别等各个研究领域并且取得了巨大的成功。与此同时，大量的深度学习技术日趋成熟并逐步开始在工业界落地，极大地促进了深度学习的规模化、产业化发展。例如，在计算机视觉领域，深度学习驱动的人脸识别和目标检测模型作为智能安防系统的核心组件，已成为保障人民群众人身和财产安全的利器。
[0003]在自然语言处理领域，基于深度学习的文本处理和理解技术在文本分类、机器翻译、人机对话等核心任务中也取得了突破性进展并催生出诸如情感分析、在线有害文本检测、垃圾邮件过滤，智能客服等一系列重要的现实应用。在语音识别领域，根据中国语音产业联盟发布的数据显示，2017年全球智能语音市场规模将超过百亿美元，国内市场规模五年复合增长率将超过60％。在微软、百度、思必驰、科大讯飞等科技巨头的推动下，深度学习驱动的语音识别技术在语音助手、智能家居、智能车载等领域发展迅猛，为丰富和改善了人们的生活提供了极大的便利。
[0004]然而，尽管深度神经网络模型在现实世界中有着广泛的应用并且具有出色的表现，但其自身同样面临着诸多的安全威胁。最新研究表明，当面对恶意构造的对抗性样例时，即便是表现出色的深度神经网络模型也同样突显出了极大的脆弱性。攻击者可以通过向自然产生的图片中添加精心构造的并且人类不可感知的对抗性扰动轻松地欺骗用于图像分类任务的目标神经网络模型，以致使分类模型对添加扰动后的对抗性图片做出错误的决策而同时又不影响人的判断。由于这类攻击的核心在于构造能致使目标攻击模型产生误分类的对抗性样例，因而被称之为对抗样例攻击，也称对抗攻击。对抗攻击最先发现于计算视觉领域，目前已延伸到语音识别、自然语言处理以及图数据分析等多个领域。由于其隐蔽性强、危害性大，因此严重地威胁到了现实场景尤其是风险敏感场景中(如自动驾驶、有害内容检测、垃圾邮件过滤等)实际部署应用的深度学习模型的安全性。例如，据相关报告显示，攻击者只需要利用彩色打印机将特定的对抗样例打印出来并粘贴到帽子上即可攻破业内性能领先的开源人脸识别系统，这表明诸如人脸解锁、人脸支付、智能安防等基于人脸识别的智能系统已不再安全。
[0005]近年来对抗攻击日趋严重，已成为人工智能安全领域的首要威胁，因而引起了极大的担忧，并因此同时吸引了来自学术界和工业界的广泛关注和深入研究。

技术实现思路

[0006]本专利技术提供了一种神经网络模型的文本分布对抗训练方法及装置、情感分析方法，用以解决或者至少部分解决现有技术中的方法得到的情感分析模型对抗攻击性不强的问题。
[0007]为了解决上述技术问题，本专利技术第一方面提供了一种神经网络模型的文本分布对抗训练方法，包括：
[0008]S1：获取训练数据集；
[0009]S2：构建情感分析模型，情感分析模型包括词嵌入模型和双向循环神经网络，词嵌入模型用于根据输入的词得到词嵌入，双向循环神经网络对词嵌入构成的特征序列进一步编码得到序列信息，并得到序列信息的情感分析结果；
[0010]S3：对构建的情感分析模型进行基于文本的对抗分布训练，具体包括：读取训练数据集中的样本，每个样本由一条评论及其对应的标签组成，训练过程中，加入损失函数，将一个批量的样本输入，然后对每一个样本进行分布预测，每一个样本的分布为高斯分布，高斯分布的平均值为方差为在每一个样本的词嵌入向量上加上一个初始化后的噪声，对其进行预测，将预测的结果和标签进行对比，并根据对比结果对噪声进行优化，得到样本的对抗分布；将每一个得到对抗分布的样本输入到情感分析模型中进行训练，对模型参数进行调整，得到训练好的情感分析模型。
[0011]在一种实施方式中，步骤S3的基于文本的对抗分布训练过程中，采用梯度下降算法对噪声进行优化，使用蒙特卡洛采样方法来估计每个样本的高斯分布，具体包括：对每个样本进行m次采样，再进行T步的梯度上升。
[0012]在一种实施方式中，利用变分推断估计样本的对抗分布。
[0013]在一种实施方式中，步骤S3中得到的样本的对抗分布的形式为：
[0014][0015]其中表示损失函数，f
θ
表示指分类器，是指第i个样本，是指为添加的噪声，是的标签，n为样本的数量，为噪声的集合。
[0016]基于同样的专利技术构思，本专利技术第二方面提供了一种情感分析方法，将待分析的评论输入第一方面得到的训练好的情感分析模型中，得到情感分析结果。
[0017]基于同样的专利技术构思，本专利技术第二方面提供了一种神经网络模型的文本分布对抗训练装置，包括：
[0018]数据集获取模块，用于获取训练数据集；
[0019]模型构建模块，用于构建情感分析模型，情感分析模型包括词嵌入模型和双向循环神经网络，词嵌入模型用于根据输入的词得到词嵌入，双向循环神经网络对词嵌入构成的特征序列进一步编码得到序列信息，并得到序列信息的情感分析结果；
[0020]模型训练模块，用于对构建的情感分析模型进行基于文本的对抗分布训练，具体包括：读取训练数据集中的样本，每个样本由一条评论及其对应的标签组成，训练过程中，加入损失函数，将一个批量的样本输入，然后对每一个样本进行分布预测，每一个样本的分
布为高斯分布，高斯分布的平均值为方差为在每一个样本的词嵌入向量上加上一个初始化后的噪声，对其进行预测，将预测的结果和标签进行对比，并根据对比结果对噪声进行优化，得到样本的对抗分布；将每一个得到对抗分布的样本输入到情感分析模型中进行训练，对模型参数进行调整，得到训练好的情感分析模型。
[0021]基于同样的专利技术构思，本专利技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
[0022]基于同样的专利技术构思，本专利技术第五方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0023]相对于现有技术，本专利技术的优点和有益的技术效果如下：
[0024]本专利技术提出了一种神经网络模型的基于文本的对抗分布训练方法，神经网络模型为情感分析模型，在训练过程中，根据对抗攻击的特点，通过蒙特卡洛采样得到训练数据(包含多个样本)的对抗分布，采取将对抗样本输入到神经网络中进行训练，从而得到训练好的模型，增强其对抗攻击性的能力，并提高模型的鲁棒性。
[0025]进一步地，提供了一种利用基于上述基于文本的对抗分布训练方法得到的模型进行情感分析的方法，从而提高情感分析的准确性。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的文本分布对抗训练方法，其特征在于，包括：S1：获取训练数据集；S2：构建情感分析模型，情感分析模型包括词嵌入模型和双向循环神经网络，词嵌入模型用于根据输入的词得到词嵌入，双向循环神经网络对词嵌入构成的特征序列进一步编码得到序列信息，并得到序列信息的情感分析结果；S3：对构建的情感分析模型进行基于文本的对抗分布训练，具体包括：读取训练数据集中的样本，每个样本由一条评论及其对应的标签组成，训练过程中，加入损失函数，将一个批量的样本输入，然后对每一个样本进行分布预测，每一个样本的分布为高斯分布，高斯分布的平均值为方差为在每一个样本的词嵌入向量上加上一个初始化后的噪声，对其进行预测，将预测的结果和标签进行对比，并根据对比结果对噪声进行优化，得到样本的对抗分布；将每一个得到对抗分布的样本输入到情感分析模型中进行训练，对模型参数进行调整，得到训练好的情感分析模型。2.如权利要求1所述的神经网络模型的文本分布对抗训练方法，其特征在于，步骤S3的基于文本的对抗分布训练过程中，采用梯度下降算法对噪声进行优化，使用蒙特卡洛采样方法来估计每个样本的高斯分布，具体包括：对每个样本进行m次采样，再进行T步的梯度上升。3.如权利要求1所述的神经网络模型的文本分布对抗训练方法，其特征在于，利用变分推断估计样本的对抗分布。4.如权利要求1所述的神经网络模型的文本分布对抗训练方法，其特征在于，步骤S3中得到的样本的对抗分布的形式为：其中表示损失函数，f
θ
表示指分类器，是指第i个样本，是指为...

【专利技术属性】
技术研发人员：沈志东，岳恒宪，
申请(专利权)人：武汉大学，
类型：发明
国别省市：