一种针对同义词替换攻击的防御方法技术

本发明专利技术涉及一种针对同义词替换攻击的防御方法，包括将新闻文本嵌入向量表示得到新闻文本的句子向量序列；提取新闻文本中每个句子的关键词生成候选关键词集；将每个候选关键词的词向量和glove训练词向量进行余弦相似度计算得到候选关键词的同义词；对候选关键词的同义词进行语法检查；将与关键词候选关键词词性相同的同义词作为最终候选词，用最终候选词对新闻文本中相应的关键词进行替换得到第二新闻文本；将第二新闻文本嵌入向量表示得到第一新闻文本向量；将新闻文本的句子向量序列输入LSTM计算得到第二新闻文本向量；将与第二新闻文本向量的余弦相似度超过设定阈值的第一新闻文本向量映射为文本并作为新闻文本的对抗样本。样本。样本。

【技术实现步骤摘要】
一种针对同义词替换攻击的防御方法


[0001]本专利技术属于计算机
，具体涉及一种针对同义词替换攻击的防御方法。

技术介绍

[0002]随着大数据时代的到来和人工智能技术的飞速发展，深度学习在计算机图像处理、信号分析和自然语言处理等领域中都得到了广泛应用。在自然语言处理领域，文本处理技术在阅读理解、情感分析、文本分类、语音识别等领域取得了突破性进展。
[0003]同时深度学习模型也面临着各种安全问题，而新闻文本作为一种公共影响力较大的宣传文本，其安全问题由为重要，其中，对抗攻击是一个热点问题。在自然语言处理领域，对抗攻击指在原始文本上添加微小的扰动得到对抗文本，通过输入对抗文本使深度学习模型输出一个错误语义标签，而用户却不能察觉对抗文本相较于原始文本在语义上的改动。为解决这一安全问题，需要使用对抗文本对目标模型进行防御对抗攻击的训练，以使目标模型可以有效抵御外界的对抗攻击。
[0004]对抗性训练的根本目的是利用生成的对抗样本来增强深度学习模型的鲁棒性，从而防御文本攻击对模型的恶意干扰。
[0005]在对抗训练的过程中，同义词替换攻击一般会在训练样本中加入一些带有微小干扰的对抗文本，然后使深度神经网络慢慢地适应这种干扰，进而对对抗攻击的文本具有鲁棒性。对抗性训练最重要的特点就是对抗样本的生成，往往对抗性训练能真正提高模型针对某一种攻击的鲁棒性取决于是否有对应攻击方式下比较完善的文本数据，所以对抗样本的生成对于对抗性训练来说至关重要。
[0006]然而，现有方法中大量的词向量难以映射回文本格式，尤其针对同义词而言，难以生成有效且与上下文关系密切的同义词对抗样本，或者生成的对抗文本与原始文本的语义相差较大，对抗文本质量低，导致对抗文本的训练价值较低。

技术实现思路

[0007]为了解决
技术介绍
中存在的问题，本专利技术提供一种针对同义词替换攻击的防御方法，包括：
[0008]S1：获取具有标签信息的新闻文本数据；所述标签信息为新闻的类别；
[0009]S2：利用Counter
‑
fitting将新闻文本中的词嵌入向量表示得到新闻文本中每个句子的隐向量并生成新闻文本的句子向量序列；
[0010]S3：利用TextRank算法提取新闻文本中每个句子的关键词生成候选关键词集；
[0011]S4：分别将候选关键词集中每个关键词的词向量和glove训练词向量进行余弦相似度计算，将余弦相似度大于设定阈值的M个glove训练词向量对应的词作为该关键词的候选同义词；
[0012]S5：对关键词的候选同义词进行语法检查；将与关键词词性相同的候选同义词作为关键词的最终候选词，并用最终候选词对新闻文本中相应的关键词进行替换得到第二新
闻文本；将第二新闻文本嵌入向量表示得到第一新闻文本向量；
[0013]S6：将新闻文本的句子向量序列输入LSTM计算得到包含上下文信息的第二新闻文本向量；
[0014]S7：根据第一新闻文本向量和第二新闻文本向量的余弦相似度，将余弦相似度超过设定阈值的第一新闻文本向量映射为文本并作为新闻文本的对抗样本；
[0015]S8：将新闻文本的对抗样本和新闻文本作为训练样本对目标模型进行训练，并根据新闻文本的标签信息创建目标损失函数，通过反向传播的机制更新目标模型的参数。
[0016]本专利技术至少具有以下有益效果
[0017]本专利技术对句子级状态和多个单词级子状态进行特征提取，表示出包含上下文语义关系的句子向量；通过同义词对原文本中对应的关键词进行替换，并结合包含上下文语义关系的新闻文本向量，能够生成与原始文本的语义相似度高的对抗文本，即得到高质量的对抗文本，进而利用该高质量对抗文本可以对目标模型进行有效的训练，以使训练后的目标模型具有高鲁棒性。
附图说明
[0018]图1为本专利技术的方法流程图；
[0019]图2为本专利技术的框架流程示意图。
具体实施方式
[0020]下面将结合本专利技术实施例的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述，所描述的实施例仅是本专利技术的一部分实施例，不能用于限制本专利技术的范围。
[0021]请参阅图1和图2，本专利技术提供一种针对同义词替换攻击的防御方法，包括：
[0022]S1：获取具有标签信息的新闻文本数据；所述标签信息为新闻的类别；
[0023]在本专利技术中获取的是AG
’
s News(AG)，DBPediaontology和Yahoo！Answers，其中，AG
’
s News由世界新闻、体育新闻、商业新闻和科技新闻组成，每个类别的新闻包括30,000个训练样本和1,900个测试样本，DBPedia是通过从DBPedia2014中选择14个不重叠的类来构建的，从维基百科中提取结构化的信息，对于每一个14个本体类，都有40,000个训练样本和5,000个测试样本。Yahoo！Answers是一个包含10个类的主题分类数据集，每个类包含140,000个训练样本和5,000个测试样本，通过社交平台提供API接口获取新闻文本数据。
[0024]S2：利用Counter
‑
fitting将新闻文本中的词嵌入向量表示得到新闻文本中每个句子的隐向量并生成新闻文本的句子向量序列；
[0025]s＝{w1,w2,...w
i
...,w
n
}
[0026][0027]其中，s表示新闻文本，w
i
表示新闻文本中的第i各句子，表示新闻文本中的第i个句子的隐向量，s
h
表示新闻文本的句子向量序列。
[0028]S3：利用TextRank算法提取新闻文本中每个句子的关键词生成候选关键词集；
[0029]优选地，所述利用TextRank算法提取新闻文本中每个句子的关键词生成候选单词集包括：
[0030]对当前新闻文本按照完整句子进行分割，对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，提取保留的这些词作为我们新闻文本的候选关键词，以这些候选关键词为节点，以关键词之间的共现关系构造两个节点的边构建关键词图G＝(V,E)，所述关键词之间的共现关系包括：两个关键词在长度为k的窗口中共现，迭代传播各节点的权重，直到收敛，然后倒序排序选出节点权重最高的T个关键词存入候选单词集KW：
[0031][0032]其中，WS(V
i
)表示新闻文本中单词w
i
的权重，d是阻尼系数，一般为0.85，用来克服后面求和公式的固有缺陷，w
ji
表示单词j和单词i的相似度，In(V
i
)表示结点V
i
的前驱结点的集合，Out(V
j
)表示结点V
j
的后继结点的集合，WS(V
j
)表示上次迭代出的单词j的权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对同义词替换攻击的防御方法，其特征在于，包括：S1：获取具有标签信息的新闻文本数据；所述标签信息为新闻的类别；S2：利用Counter
‑
fitting将新闻文本中的词嵌入向量表示得到新闻文本中每个句子的隐向量并生成新闻文本的句子向量序列；S3：利用TextRank算法提取新闻文本中每个句子的关键词生成候选关键词集；S4：分别将候选关键词集中每个关键词的词向量和glove训练词向量进行余弦相似度计算，将余弦相似度大于设定阈值的M个glove训练词向量对应的词作为该关键词的候选同义词；S5：对关键词的候选同义词进行语法检查；将与关键词词性相同的候选同义词作为关键词的最终候选词，并用最终候选词对新闻文本中相应的关键词进行替换得到第二新闻文本；将第二新闻文本嵌入向量表示得到第一新闻文本向量；S6：将新闻文本的句子向量序列输入LSTM计算得到包含上下文信息的第二新闻文本向量；S7：根据第一新闻文本向量和第二新闻文本向量的余弦相似度，将余弦相似度超过设定阈值的第一新闻文本向量映射为文本并作为新闻文本的对抗样本；S8：将新闻文本的对抗样本和新闻文本作为训练样本对目标模型进行训练，并根据新闻文本的标签信息创建目标...

【专利技术属性】
技术研发人员：刘红，陆孝晶，肖云鹏，王国胤，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：