一种利用标点进行文本后门攻击的方法技术

本发明专利技术公开了一种利用标点进行文本后门攻击的方法，该方法包括：统计原有的干净训练数据集信息，确定用于替换的目标标点组合；从训练集中随机选一部分，用预训练模型选择文本中的替换位置后进行标点替换并修改对应的输出，生成投毒样本，将原有训练集和生成的投毒数据混合生成最终的训练集。用训练集训练模型得到带有后门的模型，在干净测试集和投毒测试集上分别测试模型在干净样本上的效果和在投毒数据上的攻击效果。本发明专利技术通过使用替换标点来进行后门攻击，使得后门攻击不会改变句子的语义，也不会引起语法错误，具有很好的隐蔽性，难以被人和检测方法察觉，进而实现有效的后门攻击。攻击。攻击。

【技术实现步骤摘要】
一种利用标点进行文本后门攻击的方法


[0001]本专利技术涉及一种利用标点进行后门攻击的方法，属于自然语言处理领域。

技术介绍

[0002]近年来，深度学习已经在计算机视觉、自然语言处理以及语音等诸多领域取得了成效，得到了广泛应用。而数据的数量和模型参数的数量往往也会影响深度学习模型的效果。于是人们囿于计算资源和数据，一般不再在自己的本地从零开始搜集数据和训练模型，而是在第三方平台训练模型或直接下载他人的数据和预训练好的模型。恶意的攻击者就可以控制整个训练过程，对训练数据、模型参数等做出改变，将后门注入模型。
[0003]注入后门的模型在干净的数据上表现正常，但在含有触发器的数据上却会输出攻击者预先设定好的结果。因此，模型使用者难以对注入后门的模型和正常模型进行区分，可能在自然语言处理领域的多个任务上造成严重的后果。
[0004]对于文本后门攻击进行研究可以使采用第三方平台训练或使用他人数据、模型的用户意识到可能的风险，并且促进针对文本后门攻击的防御方法的提出。目前的文本后门攻击方法，主要可以分为两大类：在句子中插入固定的罕见词本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用标点进行文本后门攻击的方法，其特征在于，包括以下步骤：1)统计原有的干净数据集信息，确定用于替换的目标标点组合的长度以及具体组成，所述目标标点组合包括多个标点；2)随机从原有的干净数据集中选择一定比例样本，用预训练模型f
M
确定该部分样本中目标标点组合替换的标点位置，并用目标标点组合中的标点替换样本中确定的标点位置得到投毒样本，并根据具体的任务修改对应的输出后，得到投毒数据集，将投毒数据集与原有的干净数据集的所有数据混合得到最终的训练数据集；3)用步骤2)得到的训练数据集训练模型，得到带有后门的模型；4)通过测试集对步骤3)获取的模型检测后门攻击的效果。2.如权利要求1所述的一种利用标点进行文本后门攻击的方法，其特征在于，步骤1)的实现过程为：统计原有的干净训练数据集的标点信息和文本信息，用于确定目标标点组合的长度，统计在该长度下各标点组合的出现次数，以及单个标点在原有的干净训练数据集中的出现次数，最后选择在原有的干净训练数据集中总体出现次数较少但其中的每个单个标点出现次数较多的标点组合作为目标标点组合。3.如权利要求2所述的一种利用标点进行文本后门攻击的方法，其特征在于，所述标点的信息包括平均标点个数以及含有不同标点数的文本占原有的干净数据集的比例，所述文本的信息包括文本的平均单词数量，目标标点组合的长度不超过平均标点个数，但需要超过一半的原有干净训练集中文本的标点数量，所述目标标点组合的长度为目标标点组合中的标点个数，原有的干净数据集为短文本，平均单词数量与目标标点组合的比例不超过10:1，原有的干净数据集为长文本，平均单词数量与目标标点组合的比例不超过30:1，通过上述处理，确定目标标点组合长度的范围，目标标点组合的...

【专利技术属性】
技术研发人员：李丕绩，盛璇，韩朝阳，方黎明，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：