一种用于防御文本恶意样本的对抗生成网络及其训练方法技术

本发明专利技术公开了一种用于防御文本恶意样本的对抗生成网络及其训练方法，利用对抗生成网络框架中的生成模型(Generator)和判别模型(Discriminator)进行恶意样本的防御与生成。生成器部分由自编码器(Auto‑encoder)构成，将离散的文本数据映射到连续的高维隐藏空间中，由此生成器可以利用隐藏向量生成恶意文本。判别器即判别模型，用于识别数据。生成模型生成的恶意文本将被打上真实标签与真实样本同时输入判别模型中，来进行判别模型的训练。加入恶意样本训练的判别模型能够对文本数据准确高效的识别。生成模型利用判别模型对恶意样本的评估分数以及文本数据与恶意样本的差别进行训练，来生成攻击力更强的恶意样本。由于训练过程中恶意样本的加入和对抗性的网络训练过程，网络识别文本数据能力和抗干扰性、防御能力都大幅提升。

【技术实现步骤摘要】
一种用于防御文本恶意样本的对抗生成网络及其训练方法
本专利技术属于文本数据处理
，更具体地，涉及一种用于防御文本恶意样本的对抗生成网络及其训练方法。
技术介绍
恶意样本是在近几年在图像识别以及文本处理中被发现，对于机器学习和深度学习在文本数据处理的领域有着极强的攻击性。恶意样本即对抗样本，对抗样本是在数据中加入人眼不可察觉的扰动，使得模型对数据的标签预测发生混淆和错误。对抗样本是各种机器学习系统需要克服的一大障碍。对抗样本的存在表明模型倾向于依赖不可靠的特征来最大化性能，如果特征受到干扰，那么将造成模型误分类，可能导致灾难性的后果。因此，对抗样本的防御在文本数据处理过程中至关重要。现有的对于恶意样本防御的方法主要有两种：其一是在文本判别模型学习中修改训练过程，或者修改输入的文本样本，对样本进行人工去噪、数据压缩等预处理的过程；其二是修改进行文本处理的网络结构，例如增加多层或子网络结构、改变损失函数和激活函数等。上述两种方法分别从样本处理的角度和改变模型的角度对网络模型进行了改进，能够起到对于对抗样本一定的防御作用，但是它们本文档来自技高网...

【技术保护点】
1.一种用于防御文本恶意样本的对抗生成网络，包括彼此互相耦接的生成模型和判别模型，其特征在于，生成模型用于根据文本分类数据集进行训练，并在训练好后根据输入的真实样本生成第一样本，将第一样本打上和真实样本相同的标签，并一起输入判别模型。判别模型用于根据打上标签后的第一样本和真实样本进行训练，在训练好后获取恶意标签，根据该恶意标签、以及第一样本输入判别模型后的结果得到第一损失值，将该第一损失值、以及根据第一样本和真实样本得到的第二损失值相加，并使用相加结果训练生成模型。生成模型训练好后根据输入的真实样本生成恶意样本。/n

【技术特征摘要】
1.一种用于防御文本恶意样本的对抗生成网络，包括彼此互相耦接的生成模型和判别模型，其特征在于，生成模型用于根据文本分类数据集进行训练，并在训练好后根据输入的真实样本生成第一样本，将第一样本打上和真实样本相同的标签，并一起输入判别模型。判别模型用于根据打上标签后的第一样本和真实样本进行训练，在训练好后获取恶意标签，根据该恶意标签、以及第一样本输入判别模型后的结果得到第一损失值，将该第一损失值、以及根据第一样本和真实样本得到的第二损失值相加，并使用相加结果训练生成模型。生成模型训练好后根据输入的真实样本生成恶意样本。


2.一种用于防御文本恶意样本的对抗生成网络的训练方法，其特征在于，包括以下步骤：
(1)从网络获取文本分类数据集(X，Y)，其中X表示文本数据集合，Y表示文本数据集合所对应的标签集合，且Y＝{y1，y2，...，ym}，其中m表示标签集合中的标签个数；
(2)遍历步骤(1)获取的文本分类数据集中所有文本数据中的词，按照词在文本分类数据集中出现的顺序为该词分配ID号作为该词对应的索引号，并将所有词作为键、该词对应的索引号作为值建立词表。
(3)将获取的文本分类数据集中的文本数据集合X通过步骤(2)所建立的词表转换为索引号，将所有索引号输入生成模型中进行预训练，以得到预训练后的生成模型；
(4)使用每个文本数据x(i)＝{xi1，xi2，...，xin}对应的真实标签y(i)为每个句子进行标注，将得到的所有标注结果(X*，Y)和文本分类数据集(X，Y)进行随机混合后，并将混合结果中的真实标签y1，y2，...，ym分别转换为向量y′1，y′2...，y′m，将混合结果输入判别模型，以得到每个文本数据x(i)对应于标签集合Y中各个标签的概率分布P(i)＝{p(y1|x(i))，p(y2|x(i))，...，p(ym|x(i))}；
(5)根据步骤(4)得到的每个文本数据x(i)对应于标签集合Y中各个标签的概率P(i)、以及真实标签转换后的向量y′(i)建立目标函数，并根据该目标函数对判别模型进行训练，以得到训练好的判别模型；
(6)固定步骤(5)训练后得到的判别模型中的所有参数，将每个文本数据x(i)输入步骤(3)预训练后的生成模型，以得到句子作为恶意样本x*(i)，将恶意样本x*(i)输入步骤(5)训练好的判别模型，以得到恶意样本x*(i)对应于标签集合Y中各个标签的概率分布P(i)＝{p(y1|x(i))，p(y2|x(i))，...，p(ym|x(i))}；
(7)随机生成恶意标签y*(i)(其不等于真实标签y(i))，将恶意标签y*(i)分别转换为向量y′’*(i)；
(8)根据步骤(6)得到的概率分布P(i)和步骤(7)得到的向量y′’*(i)获得损失函数；
(9)根据步骤(8)得到的损失函数对生成模型进行训练，以得到训练后的生成模型，此时的生成模型可以根据文本数据集合X产生恶意样本。
(10)重复上述步骤(4)到(9)达预设迭代次数，过程结束。


3.根据权利要求2所述的训练方法，...

【专利技术属性】
技术研发人员：唐卓，周文，李肯立，方小泉，阳王东，周旭，刘楚波，曹嵘晖，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43