一种基于生成对抗网络的文本生成方法技术

一种基于生成对抗网络的文本生成方法，涉及文本生成领域，特别涉及到一种基于生成对抗网络的文本生成方法。本发明专利技术的技术方案是利用真实数据集中的文本数据得到能够引导网络的“真值”，以达到提高生成网络收敛速度的目的。该方法通过以余弦距离等衡量生成文本与真实文本间的距离，并将这部分距离添加到生成网络的目标函数中，使其在训练的过程中被逐渐优化。此外，本发明专利技术通过在输入层添加自注意力机制来改进判别网络的结构，使网络能够获得更加丰富的语义及上下文信息，优化判别网络的性能。本发明专利技术能够更加稳定地生成符合逻辑的文本数据。数据。数据。

【技术实现步骤摘要】
一种基于生成对抗网络的文本生成方法


[0001]本专利技术涉及文本生成领域，特别涉及到一种基于生成对抗网络的文本生成方法。

技术介绍

[0002]作为自然语言处理领域的一个重要研究方向，文本生成技术极具应用前景。例如，它可以应用于智能问答与对话、机器翻译等系统，实现更加智能和自然的人机交互；也可以通过文本生成系统替代编辑实现新闻的自动撰写与发布。
[0003]文本生成是指通过“机器学习+自然语言处理”技术，使计算机具有人类水平的语言表达能力，包括机器翻译、句子生成、对话生成等。通常文本生成的策略是借助语言模型，这是一种基于概率的模型，可根据输入数据预测下一个最有可能出现的词，而文本作为一种序列数据，词与词之间存在上下文关系，所以可以使用循环神经网络及其变体(RNN、LSTM、GRU)等进行语义建模。
[0004]字符循环神经网络(Character based Recurrent Neural Network，Char
‑
RNN) 是经典的基于深度学习的文本生成技术。Char
‑
RNN的输入输出都是以字符为单位，网络的学习目标是让下一个字符与训练样本的目标输出一致。除采用基本的循环神经网络外，深度学习中的经典生成式模型
‑
变分自动编码器(VariationalAuto Encoder，VAE)也常常被应用在文本生成的任务当中。VAE对编码器添加约束，使编码器产生服从高斯分布的潜在变量，网络的损失函数由两部分构成，一个是重构误差，可以用均方误差来度量；另一个是潜在变量的分布与高斯分布之间的差异，可以用KL散度来度量。
[0005]与VAE类似，生成式对抗网络(Generative Adversarial Network，GAN)包含两个子模型：生成模型G和判别模型D。生成模型的作用是模拟真实数据的分布，判别模型的作用是判断一个样本是真实样本还是生成样本，网络的训练目标是让生成模型完美拟合真实数据的分布，使得判别模型无法区分。GAN对于图像等连续数据非常适用，但在面对文本等离散数据时却有困境，最根本的原因是在采样的过程当中，将概率输出抽取成了离散的输出，已有研究学者对GAN内部的计算方式进行微调来直接改进网络。Wasserstein GAN从替换KL散度的角度出发，使得网络的返回值更加平滑，在应用于文本生成后，效果显著。有学者对Softmax 函数进行了改进，采用Gumbel
‑
Softmax的方式，取得了一定的成效。
[0006]强化学习(Reinforcement Learning，RL)是当下较为先进的学习方式之一， SeqGAN首次提出将强化学习与生成式对抗网络相结合，是GAN应用于文本生成的杰出代表。有文献提出使用判别器D作为强化学习中奖励值Reward的来源，生成器逐词寻找期望奖励最大的词，判别器以整句为单位对生成的序列给出奖励得分。在训练的过程中，判别器与生成器交替进行，多轮的生成器训练后进行一次判别器的训练。
[0007]SeqGAN的提出使得强化学习结合GAN应用于文本生成成为焦点，但由于 GAN本身就存在难以训练的问题，限制了其在自然语言处理领域的潜力。由于生成器G的输出是离散的，判别器D很难回传来更新生成器G的梯度，因此需要借鉴强化学习中的思想。SeqGAN将已经生成的词看作现在的状态(state)，要生成的下一个词看作动作(action)。由于判别器D
只能对一个完整的进行评分，所以采用蒙特卡洛树搜索的方式，将每一个动作后续出现的可能性补全，判别器D对这些完整的序列进行评判，产生奖励值Reward，回传给生成器G进行参数的更新，通过强化学习的方式，训练能够产生下一个最优动作的网络。
[0008]后人在其基础上不断进行改进，JiWei等人将其应用在对话生成任务当中，采用经典的seq2seq模型作为生成器，也将判别器D的结果作为强化学习中的 Reward，但是在计算上有所不同，论文分别从正序列和负序列的子序列中随机选取一个来训练判别器D；LeakGAN主要从输入文本长度的角度出发，通过判别器在中间时间步提取的特征，指导生成器生成更完整的序列；Cooperative Training 提出了一种新的网络训练方式，主要是为了解决SeqGAN需要通过最大似然的方式进行预训练的问题，论文引入了调和器M，并用调和器的估计值来代替真实值来训练生成器G，取得了非常好的效果。

技术实现思路

[0009]本专利技术目的在于提供一种基于生成对抗网络的文本生成方法，获取更加稳定的生成文本。
[0010]本专利技术利用真实数据集中的文本数据得到能够引导网络的“真值”，以达到提高生成网络收敛速度的目的。该方法通过以余弦距离等衡量生成文本与真实文本间的距离，并将这部分距离添加到生成网络的目标函数中，使其在训练的过程中被逐渐优化。此外，本专利技术通过在输入层添加自注意力机制来改进判别网络的结构，使网络能够获得更加丰富的语义及上下文信息，优化判别网络的性能。本专利技术能够更加稳定地生成符合逻辑的文本数据。
[0011]本专利技术述技术方案：
[0012]一种基于生成对抗网络的文本生成方法，包括如下步骤：
[0013]步骤(1)，文本数据预处理及向量化，用于提供给步骤(2)、(3)、(4)。
[0014]文本中存在着一些口语化的停用词以及特殊符号，会形成较大的噪声，影响模型的训练，因此需要进行数据清洗、去停用词等预处理工作。
[0015]对短文本数据集进行预处理，将其表示为以词嵌入为主的短文本向量数据。将文本内容词向量化后，将更容易表示其语义信息，同时方便计算。
[0016]步骤(2)构建并训练判别器网络，将训练好的判别器的计算结果提供给步骤(3)的损失函数。
[0017]将判别器命名为判别器D。
[0018]判别器的作用是区分出生成器的生成数据以及数据集中的真实文本。将真实样本数据作为正例标记为1，随机初始化的向量作为反例标记为0，交替训练判别器D，使判别器具有一定的判别能力，这里的判别器不仅采用卷积神经网络 CNN，还添加了自注意力层获取更丰富的语义信息，能够更好的学习上下文的关联信息，以及与当前词的重要性。
[0019](3)构建并训练生成器网络
[0020]生成器需要损失函数的指导来得到更加逼近真实文本数据的向量，在改进的 SeqGAN模型中，步骤(2)判别器的结果将作为奖励值Reward，通过增强学习的方式优化生成器G，添加生成器样本与真实文本的余弦差值作为一部分奖励值，引导生成器生成更加贴近真值的向量。
[0021](4)交替训练得到稳定的文本生成模型
[0022]将生成器命名为生成器G。
[0023]以生成对抗的方式，交替训练步骤(2)生成器G和步骤(3)判别器D，设计对抗损失函数，并通过Adam优化器得到新的文本数据集，以解决不平衡情况下的文本分类问题。使用生成对抗损失函数和Adam优化器来搜索最优的权值参数，用于生成新的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的文本生成方法，特征是，包括如下步骤：步骤(1)，文本数据预处理及向量化，用于提供给步骤(2)、(3)、(4)；进行数据清洗、去停用词预处理；表示为以词嵌入为主的短文本向量数据；步骤(2)构建并训练判别器网络，将训练好的判别器的计算结果提供给步骤(3)的损失函数；将判别器命名为判别器D；判别器的作用是区分出生成器的生成数据以及数据集中的真实文本；将真实样本数据作为正例标记为1，随机初始化的向量作为反例标记为0，交替训练判别器D，使判别器具有一定的判别能力，判别器不仅采用卷积神经网络CNN，还添加了自注意力层获取更丰富的语义信息，能够学习上下文的关联信息，以及与当前词的重要性；(3)构建并训练生成器网络生成器需要损失函数的指导来得到更加逼近真实文本数据的向量，在改进的SeqGAN模型中，步骤(2)判别器的结果将作为奖励值Reward，通过增强学习的方式优化生成器G，添加生成器样本与真实文本的余弦差值作为一部分奖励值，引导生成器生成更加贴近真值的向量；(4)交替训练得到稳定的文本生成模型将生成器命名为生成器G；以生成对抗的方式，交替训练步骤(2)生成器G和步骤(3)判别器D，设计对抗损失函数，并通过Adam优化器得到新的文本数据集，以解决不平衡情况下的文本分类问题；使用生成对抗损失函数和Adam优化器来搜索最优的权值参数，用于生成新的文本数据。2.如权利要求1所述方法，特征是，步骤(2)包括下列子步骤:a)定义初始状态为S
Random
，是指随机生成的一个离散向量，长度为文本序列的最大长度。S
Random
在经过预训练后，得到具有一定语义表达能力的文本向量S0，该向量将成为生成模型最初的输入状态；在状态转移的过程中，文本向量S
i
被不断更新，其更新的方向由判别器D打分后的奖励值决定；b)单个时间步的奖励值Q
DG(θ|Si)
是指针对每个时间步的新词所对应的奖励值，累加用于计算整个网络生成句子的总奖励值。若当前时刻产生的单词不是句子末尾的单词，则通过蒙特卡洛搜索补全所有的可能序列并取平均；c)为了加入真...

【专利技术属性】
技术研发人员：王俊丽，吴雨茜，韩冲，张超波，
申请(专利权)人：同济大学，
类型：发明
国别省市：