一种基于HMM和降噪自编码器的中文对抗样本恢复方法技术

本发明专利技术公开一种基于HMM和降噪自编码器的中文对抗样本恢复方法，涉及对抗文本处理技术领域，包括，获取对抗文本，对对抗文本进行符号清洗；基于隐马尔可夫模型将所述对抗文本中的拼音串转换为汉字序列，并将汉字序列拼接为汉字串；通过降噪自编码器对所述对抗文本中的汉字字符及汉字串进行噪声去除，得到候选词序列；通过置信度

【技术实现步骤摘要】
一种基于HMM和降噪自编码器的中文对抗样本恢复方法


[0001]本专利技术涉及对抗文本处理
，特别涉及一种基于隐马尔可夫模型(Hidden Markov Model，HMM)和降噪自编码器(Denoising Autoencoder，DAE)的中文对抗样本恢复方法。

技术介绍

[0002]中文文本对抗攻击的攻击者通过手工制作字库生成对抗样本，从而绕开社交网络的敏感词审查系统和发垃圾短信，由于攻击者数量庞大，采取的变体策略繁多，这使得中文文本的对抗防御算法开发困难。
[0003]现有的防御技术主要分为两大类。第一种是传统的拼写纠错。通过手工构建庞大的纠错字典，将对抗样本中被扰动的字段当作拼写错误进行纠错，这种方法被专利技术的最初目的是为了纠正打字中人为失误的产生错误，所以字典中包含的错误类型单一，难以满足当前蓄意制作的各种样式的对抗攻击。第二种是对抗训练，通过将对抗样本混入到模型训练的原始训练集中，对模型进行重训练或者微调，从而提升模型鲁棒性。但这种方法同样需要模型的训练者提前收集对抗样本，且模型的重训练需要耗费大量的时间和算力，同时该方法无法在不同模型之间迁移。
[0004]综上，现有技术中无法提供中文对抗文本样本的高效恢复方法。

技术实现思路

[0005]为解决上述现有技术中所存在的问题，本专利技术提供一种基于HMM和降噪自编码器的中文对抗样本恢复方法，无需收集大量对抗样本进行训练，也无需对原始模型进行修改，该方法省时省力，且具有较强的通用性，方便在不同模型之间进行迁移以实现中文对抗样本高效恢复。
[0006]为了实现上述技术目的，本专利技术提供了如下技术方案：一种基于HMM和降噪自编码器的中文对抗样本恢复方法，包括：
[0007]获取对抗文本，对对抗文本进行符号清洗，保留对抗文本中的汉字字符及英文字母字符；
[0008]基于隐马尔可夫模型将所述对抗文本中的拼音串转换为汉字序列，并将汉字序列拼接为汉字串；
[0009]通过降噪自编码器对所述对抗文本中的汉字字符及汉字串进行噪声去除，得到候选词序列，其中降噪自编码器基于BERT模型进行构建，所述候选词序列根据对应置信度进行排序；
[0010]通过置信度
‑
相似度解码器对所述候选词序列进行解码，得到修正文本；
[0011]通过双向机器翻译对所述修正文本进行处理，生成恢复汉字文本。
[0012]可选的，采用正则表达式对对抗文本进行符号清洗。
[0013]可选的，将所述拼音序列转换为汉字序列的过程包括：
[0014]将拼音串按照声母和韵母的组合进行拆分，以将拼音串转换为拼音序列；
[0015]根据拼音序列构建有向概率图，并通过训练预料对所述有向概率图进行参数设置，其中设置的参数包括状态转移矩阵、观测概率矩阵及初始状态分布；
[0016]通过动态规划算法对有向概率图进行最优路径求解，得到汉字序列。
[0017]可选的，其中所述动态算法采用维特比算法。
[0018]可选的，所述降噪自编码器的构建过程包括：
[0019]获取无噪声语料，随机选取无噪声语料中不超过15％的单词进行处理，其中对80％被选取的单词通过“[MASK]”进行替换，10％被选取的单词随机使用其它的token进行替换，10％被选取的单词保持原有的token；
[0020]获取有噪声语料，随机选取有噪声语料中不超过15％的词进行处理，其中对存在拼写错误的单词通过“[MASK]”进行替换，并将存在拼写错误的单词对应的词向量指向正确的词向量，对不存在拼写错误的单词通过“[MASK]”进行替换，并将不存在拼写错误的单词对应的词向量指向原本的词向量；
[0021]构建BERT模型，通过处理后的无噪声语料及处理后的有噪声语料对BERT模型进行预训练，生成降噪自编码器。
[0022]可选的，对所述候选词序列进行解码的过程包括：
[0023]对候选词序列中的候选词进行相似度评价，得到文本相似度分值；
[0024]根据候选词对应的置信度及文本相似度分值，拟合过滤曲线，其中所述过滤曲线通过多项式展开方法进行拟合；
[0025]通过过滤曲线对候选词进行过滤，生成修正文本。
[0026]可选的，对候选词进行相似度评价的过程包括：
[0027]对候选词分别进行字形相似度评价及字音相似度评价，对所述字音相似度评价结果赋予权值，通过归一化函数对字形相似度评价结果及赋予权值后的字音相似度评价结果之和进行计算，得到文本相似度分值。
[0028]可选的，对所述修正文本进行处理的过程包括：
[0029]将修正文本通过训练好的机器翻译模型翻译为第三方语言，再将第三方语言翻译回中文，生成恢复汉字文本。
[0030]本专利技术具有如下技术效果：
[0031]在中文自然语言处理模型受到对抗攻击的场景中，本专利技术能够将错误中文文本有效恢复，可以在不重新训练原始模型的前提下，通过在自然语言处理模型的入口处前置基于隐马尔可夫模型和降噪自编码器的中文对抗样本恢复组件来提升模型鲁棒性，防御中文文本对抗攻击。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术实施例提供的整体流程示意图；
[0034]图2为本专利技术实施例提供的拼音转汉字的隐马尔可夫模型示意图；
[0035]图3为本专利技术实施例提供的维特比算法求第二层到第三层节点最大概率路径示意图；
[0036]图4为本专利技术实施例提供的维特比算法求第三层到第四层节点最大概率路径示意图；
[0037]图5为本专利技术实施例提供的IDS拆分汉字示意图；
[0038]图6为本专利技术实施例提供的置信度
‑
相似度解码器示例示意图；
[0039]图7为本专利技术实施例提供的MLRC和基线任务的防御效果示意图。
具体实施方式
[0040]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]针对上述现有技术中无法有效提供中文对抗文本样本的恢复方法的问题，本专利技术旨在提供一种中文自然语言处理模型前置防御组件，该组件通过一系列步骤，包括符号清洗、基于隐马尔可夫模型的维特比算法拼音转汉字技术、基于降噪自编码器的汉字拼写纠错技术以及基于机器翻译的双向翻译技术等，将包含对抗扰动的对抗样本恢复为无害的文本内容，并输入自然语言处理模型，从而达到对抗攻击的防御目的。
[0042]如图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于HMM和降噪自编码器的中文对抗样本恢复方法，其特征在于，包括：获取对抗文本，对对抗文本进行符号清洗，保留对抗文本中的汉字字符及英文字母字符；基于隐马尔可夫模型将所述对抗文本中的拼音串转换为汉字序列，并将汉字序列拼接为汉字串；通过降噪自编码器对所述对抗文本中的汉字字符及汉字串进行噪声去除，得到候选词序列，其中降噪自编码器基于BERT模型进行构建，所述候选词序列根据对应置信度进行排序；通过置信度
‑
相似度解码器对所述候选词序列进行解码，得到修正文本；通过双向机器翻译对所述修正文本进行处理，生成恢复汉字文本。2.根据权利要求1所述的方法，其特征在于：采用正则表达式对对抗文本进行符号清洗。3.根据权利要求1所述的方法，其特征在于：将所述拼音序列转换为汉字序列的过程包括：将拼音串按照声母和韵母的组合进行拆分，以将拼音串转换为拼音序列；根据拼音序列构建有向概率图，并通过训练预料对所述有向概率图进行参数设置，其中设置的参数包括状态转移矩阵、观测概率矩阵及初始状态分布；通过动态规划算法对有向概率图进行最优路径求解，得到汉字序列。4.根据权利要求3所述的方法，其特征在于：其中所述动态算法采用维特比算法。5.根据权利要求1所述的方法，其特征在于：所述降噪自编码器的构建过程包括：获取无噪声语料，随机选取无噪声语料中不超过15％的单词进行处理，其中对80％被选取的单词通过“[MASK]...

【专利技术属性】
技术研发人员：王巍，韩子屹，蔡成涛，陆蓓婷，蒋文创，杨玉东，曲晓威，杨东梅，张海涛，王小芳，张万松，张越，庄园，苘大鹏，李伟，玄世昌，郭方方，
申请(专利权)人：哈尔滨工程大学三亚南海创新发展基地价值链技术深圳有限公司，
类型：发明
国别省市：