【技术实现步骤摘要】
本专利技术属于文本对抗处理领域，具体涉及一种基于虚拟位置引导的vpg-pso算法的文本对抗攻击方法。
技术介绍
1、机器学习方法，尤其是深度神经网络，在自然语言处理(nlp)任务中取得了显著成果，如垃圾邮件过滤、情感分析和假新闻检测。尽管最先进的模型在一些任务上已达到接近100％的准确率，但它们对于对抗攻击不够敏感。这意味着一个好的模型在初始阶段能对输入示例进行正确分类，然而在注入人类难以察觉的噪声以生成对抗样本时，模型可能会出现错误。因此，有必要研究文本对抗攻击方法，以便构建更具鲁棒性的模型，开发更强大的防御手段来处理nlp任务。
2、文本对抗攻击可以根据基本变化单位分为三类：字符级、词级和句子级。其中词级攻击通过替换少量单词生成对抗样本，在一致性和修改率上都有出色表现。近年来，涌现出多种词级对抗攻击方法。papernot等人首次提出生成文本对抗样本的想法，从整个字典中搜索替换词，并使用梯度下降算法选择合适词。liang等人将整个字典定义为搜索空间，并采用模糊技术确定插入、删除或修改词的位置。然而，这两种方法均无法保证保持原句意义或语法正确性。alzanot等人设计了一种基于遗传算法(ga)的词级对抗攻击方法，将缩减后的搜索空间定义为glove嵌入空间，利用嵌入空间中最接近原词且语言模型分数较高的替换词，并通过遗传算法寻找满意的对抗样本。ren等人提出一种同义词集搜索方法，并使用词显著性技术贪婪搜索该空间。zang等人将搜索空间构建为与输入词共享相同义原的替换词，并采用标准粒子群优化(pso)算法作为搜索技术，以获
3、然而，标准pso算法在实际使用中存在一系列的局限：(1)存在早熟收敛的缺点，导致其在处理高维组合优化问题(如句子中有很多词)的复杂情况下，易出现鲁棒性不足、过早收敛和探索与开发不平衡的问题。(2)无法有效地解决一些复杂的问题，如粒子维度规模不同(句子长短不一)的情况下，对多样性的影响差别较大。
4、为了解决上述问题，本专利技术提出了一种基于虚拟位置引导(virtual positionguided,vpg)策略的vpg-pso算法的文本对抗攻击方法。在每次迭代搜索中计算两个不同种群的多样性值，这两个种群分别由所有粒子的当前位置和最优位置组成，并预先设定一个多样性基线。vpg策略根据两种多样性值与基线之间的关系，将整个迭代过程分为三个阶段。在每个阶段，基于虚拟位置设计算法的搜索行为进行不同的搜索。
技术实现思路
1、为了前面提到的问题，本专利技术提出了一种基于虚拟位置引导(virtual positionguided,vpg)策略的vpg-pso算法的文本对抗攻击方法。首先采用基于义原的方法生成替换词，进而形成缩减的搜索空间。然后使用了一种基于虚拟位置引导的vpg-pso算法，应用于搜索对抗样本，将整个迭代过程分为发散、正常、加速三个阶段，使用不同的搜索策略。
2、在发散阶段扩大粒子的运动范围，以实现全局搜索；正常阶段进行常规粒子群搜索；在加速阶段降低粒子在较大范围内的运动，从而实现快速收敛。并在每个阶段引入虚拟位置的概念，自适应调整算法的搜索行为，从而进行不同的搜索。在保持语义一致性的前提下，以更低的成本实现了更高的成功率。
3、本专利技术的技术方案：
4、一种基于虚拟位置引导的vpg-pso算法的文本对抗攻击方法，具体步骤如下：
5、步骤一：基于义原的方法生成替代词，形成缩减的搜索空间，所述缩减的搜索空间是一个由原词和替代词组成的数据库；
6、步骤二：对于一个包含d个原词的原始输入样本o，通过分析原始输入样本o中每个原词的词性，对每个原词筛选出一个候选词列表，形成d个候选词列表。如果整个原始输入样本o中的所有原词均无对应的候选词，则认为攻击失败，算法结束；
7、步骤三：针对原始输入样本o的第j个原词，j＝1～d，只保留其候选词列表中对受害模型造成最大伤害的一个候选词，作为该原词xj的候选词。将每个位置的候选词对受害模型造成的最大伤害进行归一化处理后，得到原始输入样本o中各位置原词的突变概率。对于文本对抗问题，解空间由原始输入样本o中各位置候选词(每个原词xj的候选词)所有的替换组合形成。设原始输入样本o中n个词被替换成候选词的样本称为一个候选对抗样本,对应解空间中的一个位置，在vpg-pso算法中被称为一个粒子，其中，1≤n≤d。候选对抗样本被受害模型预测为目标错误标签的概率值，称为在该位置上粒子的优化分数。
8、进一步地，候选词对受害模型造成的最大伤害即在仅将原始输入样本中一个原词替换为候选词列表中某一个候选词的情况下，受害模型预测该样本为目标错误标签的概率。
9、进一步地，所述的原始输入样本o各位置候选词所有的替换组合是指：原始输入样本o中各位置原词被替换与不被替换所有情况的组合形式。
10、进一步地，原始输入样本o各位置的突变概率即仅改变此位置原词为候选词时，受害模型预测样本为目标错误标签的概率。
11、步骤四：步骤三所述的vpg-pso算法是在pso算法的基础上，加入虚拟位置引导策略。vpg策略即，根据两种多样性值与基线之间的关系，将整个迭代过程分为三个阶段，在每个阶段，基于虚拟位置设计算法的搜索行为进行不同的搜索。使用vpg-pso在解空间中搜索候选对抗样本时，先初始化一个由m个粒子(即m句话)组成的粒子群s0，每一个粒子由原始输入样本o中，根据各位置突变概率，随机选择一个原词xj突变为其候选词而来；
12、步骤五：每次迭代搜索开始之前计算粒子群当前位置种群多样性dn(xt)、最优位置种群多样性dn(pt)以及多样性基线bt；
13、种群多样性的计算方式与标准pso一致，多样性基线bt关于迭代次数的多项式形式如下：
14、
15、其中t和t是当前和最大的迭代次数。b1固定为0.5，为归一化群体多样性的最大值。bt由0.5降至0，其速率由超参数c决定，c的值越低，探索就越多，反之亦然。在理想情况下，迭代搜索开始时要有足够的广度，保证足够的全局搜索，后期要相对狭窄，实现快速收敛。
16、根据dn(xt)、dn(pt)、bt三者之间关系，粒子选择进入vpg-pso算法的三个阶段之一，vpg-pso算法的三个阶段包括发散阶段、正常阶段、加速阶段，在三个阶段分别计算粒子当前速度对应的虚拟速度和粒子个体最佳位置对应的虚拟位置虚拟位置是为了保证在搜索过程中大多数粒子能够向适应度更好的位置移动。其中vpg-pso算法三个阶段与dn(xt)、dn(pt)、bt如下关系所示。
17、
18、1)：发散阶段。计算粒子个体最佳位置的虚拟位置首先计算个体最佳位置的理想位置然后计算当前个体最佳位置到达理想位置的迭代次数t′。
19、
20、
21、
22本文档来自技高网...
【技术保护点】
1.一种基于虚拟位置引导的VPG-PSO算法的文本对抗攻击方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种基于虚拟位置引导的VPG-PSO算法的文本对抗攻击方法，其特征在于，所述步骤三中，候选词对受害模型造成的最大伤害即在仅将原始输入样本中一个原词替换为候选词列表中某一个候选词的情况下，受害模型预测该样本为目标错误标签的概率。
3.根据权利要求1所述的一种基于虚拟位置引导的VPG-PSO算法的文本对抗攻击方法，其特征在于，所述步骤三中，所述的原始输入样本O各位置候选词所有的替换组合是指：原始输入样本O中各位置原词被替换与不被替换所有情况的组合形式。
4.根据权利要求1所述的一种基于虚拟位置引导的VPG-PSO算法的文本对抗攻击方法，其特征在于，所述步骤三中，原始输入样本O各位置的突变概率即仅改变此位置原词为候选词时，受害模型预测样本为目标错误标签的概率。
【技术特征摘要】
1.一种基于虚拟位置引导的vpg-pso算法的文本对抗攻击方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种基于虚拟位置引导的vpg-pso算法的文本对抗攻击方法，其特征在于，所述步骤三中，候选词对受害模型造成的最大伤害即在仅将原始输入样本中一个原词替换为候选词列表中某一个候选词的情况下，受害模型预测该样本为目标错误标签的概率。
3.根据权利要求1所述的一种基于虚拟位置...
【专利技术属性】
技术研发人员：殷快快，孙俊，李超，陈灏，张冠宇，于子皓，夏志宇，
申请(专利权)人：江南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。