【技术实现步骤摘要】
本专利技术涉及一种基于词性的掩码策略与对抗文本攻击的防御方法、系统、设备及可读存储介质，属于数据安全保护领域。
技术介绍
1、bert(bidirectional encoder representations from transformers)是一种基于transformer的双向编码器，该模型通过双向上下文信息可以更好地理解文本，其在大量无标签的语料库上进行预训练，通过预测上下文中的词汇学习语言表示，该模型提供了强大的语言表示能力，并在情感分析、文本分类和问答等自然语言处理任务中效果较好。由于其使用transformer进行建模，因此bert可以处理变长的输入文本，并捕获词与词之间的长期依赖关系。
2、bert模型的搭建通常分为预训练和微调两个阶段使用，预训练阶段利用大规模无标注语料库，通过执行两个并行的任务训练bert模型的语言表示学习：一是通过语言掩码模型(mlm)，对输入句子进行随机词汇掩盖，并尝试预测被掩盖的词，从而学习上下文中词汇的语义和句法信息；二是通过下句预测模型(nsp)，接收一对句子作为输入并预测这两个句子是否连续，从而学习文本中句子之间的关联性。这种训练方式使得bert模型能够获得更全面的语言表示，包括词汇、句法和上下文信息。
3、bert模型利用随机掩码的方式进行预训练，随机选择一些词进行掩码，利用特殊的[mask]符号替换，但是这种随机掩码方式会引入一些噪声，这是因为并非所有词都需要被掩码。
技术实现思路
1、为解决现有技术中存
2、(1)对输入的文本进行分词和词性标注，使用spacy库进行英文分词，将文本分解成单个的单词或符号，再使用spacy标注器对每个分词结果进行词性标注，确定每个单词或符号的词性类别；
3、(2)根据词性判断掩码概率，利用基于词性的掩码器进行掩码，并使用净化器成功重预测被掩码处理的切分词；
4、(3)使用pytorch框架构建模型，将掩码后的输入文本作为输入，目标单词作为输出进行训练；利用交叉熵损失函数不断训练与优化模型，直到模型收敛或达到预设的训练轮数；每次训练轮数结束后，重复执行掩码与模型训练过程，得到最终的bert-mlm模型。
5、进一步地，步骤(2)中，对名词、动词、形容词和副词分别以不同概率进行掩码，计算掩码概率，并进行训练。
6、进一步地，步骤(2)中，净化器利用基于bert的词性语言掩码模型预测掩码词，依次恢复干净词，pi为掩码切分词wi的重要性得分，为使模型能够更好地理解被掩码部分的信息，提高数据的利用效率，计算其中表示切分词wi的掩码概率，wm为当前掩码副本中所有被掩码的切分词，j为目标模型f的损失函数，x为输入文本，f表示目标模型。
7、进一步地，净化器基于softmax函数计算zi＝w的置信度为其中gi是从gumbel分布中采样得到的噪声，gi＝-log(-log(ui))，ui是区间[0,1上均匀采样的随机数，hi∈hs，hs＝(h1,h2,...,hl)是bert-mlm模型的最终输出，wc和b是隐藏状态hi的权重和偏置项；净化器最终输出净化样本如果是一个掩码词[mask]，那么否则，一个完整的净化操作后生成n个重构后的样本xr＝r(xm)。
8、本专利技术又提出一种基于词性的掩码策略与对抗文本攻击的防御系统，该系统包括：
9、(1)预处理模块，该模块对输入的文本进行分词和词性标注，使用spacy库进行英文分词，将文本分解成单个的单词或符号，再使用spacy标注器对每个分词结果进行词性标注，确定每个单词或符号的词性类别；
10、(2)掩码与净化处理模块，该模块根据词性判断掩码概率，利用基于词性的掩码器进行掩码，并使用净化器成功重预测被掩码处理的切分词；
11、(3)模型训练模块，该模块使用pytorch框架构建模型，将掩码后的输入文本作为输入，目标单词作为输出进行训练；利用交叉熵损失函数不断训练与优化模型，直到模型收敛或达到预设的训练轮数；每次训练轮数结束后，重复执行掩码与模型训练过程，得到最终的bert-mlm模型。
12、进一步地，预处理模块中，对名词、动词、形容词和副词分别以不同概率进行掩码，计算掩码概率，并进行训练。
13、进一步地，掩码与净化处理模块中，净化器利用基于bert的词性语言掩码模型预测掩码词，依次恢复干净词，pi为掩码切分词wi的重要性得分，为使模型能够更好地理解被掩码部分的信息，提高数据的利用效率，计算其中表示切分词wi的掩码概率，wm为当前掩码副本中所有被掩码的切分词，j为目标模型f的损失函数，x为输入文本，f表示目标模型。
14、进一步地，净化器基于softmax函数计算zi＝w的置信度为其中gi是从gumbel分布中采样得到的噪声，gi＝-log(-log(ui))，ui是区间[0,1上均匀采样的随机数，hi∈hs，hs＝(h1,h2,...,hl)是bert-mlm模型的最终输出，wc和b是隐藏状态hi的权重和偏置项；净化器最终输出净化样本如果是一个掩码词[mask]，那么否则，一个完整的净化操作后生成n个重构后的样本xr＝r(xm)。
15、本专利技术又提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行上述任一项方法。
16、本专利技术又提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任一项方法。
17、本专利技术提出了一种基于词性的掩码策略，并改进了软嵌入的计算方法，使净化器能够成功重预测被掩码处理的切分词。由掩码器和净化器构成了一种对抗文本攻击的防御框架，掩码器将输入文本中的一定比例单词替换为[mask]，生成多个掩码副本。净化器使用softmax函数计算每个位置上不同单词的概率分布，并输出最可能的单词作为预测结果。整个过程在干净样本的准确率和对抗防御成功率上取得了良好的平衡。
本文档来自技高网...【技术保护点】
1.一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：该方法具体步骤如下：
2.如权利要求1所述的一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：步骤(2)中，对名词、动词、形容词和副词分别以不同概率进行掩码，计算掩码概率，并进行训练。
3.如权利要求1所述的一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：步骤(2)中，净化器利用基于BERT的词性语言掩码模型预测掩码词，依次恢复干净词，pi为掩码切分词wi的重要性得分，为使模型能够更好地理解被掩码部分的信息，提高数据的利用效率，计算其中表示切分词wi的掩码概率，wm为当前掩码副本中所有被掩码的切分词，J为目标模型f的损失函数，x为输入文本，f表示目标模型。
4.如权利要求1所述的一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：步骤(2)中，净化器基于Softmax函数计算zi＝w的置信度为其中gi是从Gumbel分布中采样得到的噪声，gi＝-log(-log(ui))，ui是区间[0,1上均匀采样的随机数，hi∈Hs，Hs＝(h1,h2,...,h
5.一种基于词性的掩码策略与对抗文本攻击的防御系统，其特征在于：该系统包括：
6.如权利要求5所述的一种基于词性的掩码策略与对抗文本攻击的防御系统，其特征在于：预处理模块中，对名词、动词、形容词和副词分别以不同概率进行掩码，计算掩码概率，并进行训练。
7.如权利要求5所述的一种基于词性的掩码策略与对抗文本攻击的防御系统，其特征在于：掩码与净化处理模块中，净化器利用基于BERT的词性语言掩码模型预测掩码词，依次恢复干净词，pi为掩码切分词wi的重要性得分，为使模型能够更好地理解被掩码部分的信息，提高数据的利用效率，计算其中表示切分词wi的掩码概率，wm为当前掩码副本中所有被掩码的切分词，J为目标模型f的损失函数，x为输入文本，f表示目标模型。
8.如权利要求5所述的一种基于词性的掩码策略与对抗文本攻击的防御系统，其特征在于：掩码与净化处理模块中，净化器基于Softmax函数计算zi＝w的置信度为其中gi是从Gumbel分布中采样得到的噪声，gi＝-log(-log(ui)),ui是区间[0,1上均匀采样的随机数，hi∈Hs，Hs＝(h1,h2,...,hL)是BERT-MLM模型的最终输出，Wc和b是隐藏状态hi的权重和偏置项；净化器最终输出净化样本如果是一个掩码词[MASK]，那么否则，一个完整的净化操作后生成n个重构后的样本Xr＝R(Xm)。
9.一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行上述1-4任一项方法。
10.本专利技术又提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述1-4任一项方法。
...【技术特征摘要】
1.一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：该方法具体步骤如下：
2.如权利要求1所述的一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：步骤(2)中，对名词、动词、形容词和副词分别以不同概率进行掩码，计算掩码概率，并进行训练。
3.如权利要求1所述的一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：步骤(2)中，净化器利用基于bert的词性语言掩码模型预测掩码词，依次恢复干净词，pi为掩码切分词wi的重要性得分，为使模型能够更好地理解被掩码部分的信息，提高数据的利用效率，计算其中表示切分词wi的掩码概率，wm为当前掩码副本中所有被掩码的切分词，j为目标模型f的损失函数，x为输入文本，f表示目标模型。
4.如权利要求1所述的一种基于词性的掩码策略与对抗文本攻击的防御方法，其特征在于：步骤(2)中，净化器基于softmax函数计算zi＝w的置信度为其中gi是从gumbel分布中采样得到的噪声，gi＝-log(-log(ui))，ui是区间[0,1上均匀采样的随机数，hi∈hs，hs＝(h1,h2,...,hl)是bert-mlm模型的最终输出，wc和b是隐藏状态hi的权重和偏置项；净化器最终输出净化样本如果是一个掩码词[mask]，那么否则，一个完整的净化操作后生成n个重构后的样本xr＝r(xm)。
5.一种基于词性的掩码策略与对抗文本攻击的防御系统，其特征在于：该系统包括：
6.如权利要求5所述的一种基于词性的掩码策略与对抗文本攻击的防御系统，其特征在于：预处理模...
【专利技术属性】
技术研发人员：王翔宇，王伟斌，陈传凯，
申请(专利权)人：北京新数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。