一种基于生成对抗网络的文本生成方法技术

一种基于生成对抗网络的文本生成方法，涉及文本生成领域，特别涉及到一种基于生成对抗网络的文本生成方法。本发明专利技术的技术方案是利用真实数据集中的文本数据得到能够引导网络的“真值”，以达到提高生成网络收敛速度的目的。该方法通过以余弦距离等衡量生成文本与真实文本间的距离，并将这部分距离添加到生成网络的目标函数中，使其在训练的过程中被逐渐优化。此外，本发明专利技术通过在输入层添加自注意力机制来改进判别网络的结构，使网络能够获得更加丰富的语义及上下文信息，优化判别网络的性能。本发明专利技术能够更加稳定地生成符合逻辑的文本数据。数据。数据。

【技术实现步骤摘要】
一种基于生成对抗网络的文本生成方法


[0001]本专利技术涉及文本生成领域，特别涉及到一种基于生成对抗网络的文本生成方法。

技术介绍

[0002]作为自然语言处理领域的一个重要研究方向，文本生成技术极具应用前景。例如，它可以应用于智能问答与对话、机器翻译等系统，实现更加智能和自然的人机交互；也可以通过文本生成系统替代编辑实现新闻的自动撰写与发布。
[0003]文本生成是指通过“机器学习+自然语言处理”技术，使计算机具有人类水平的语言表达能力，包括机器翻译、句子生成、对话生成等。通常文本生成的策略是借助语言模型，这是一种基于概率的模型，可根据输入数据预测下一个最有可能出现的词，而文本作为一种序列数据，词与词之间存在上下文关系，所以可以使用循环神经网络及其变体(RNN、LSTM、GRU)等进行语义建模。
[0004]字符循环神经网络(Character based Recurrent Neural Network，Char
‑
RNN) 是经典的基于深度学习的文本生成技术。Char
‑r/>RNN的输入输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的文本生成方法，特征是，包括如下步骤：步骤(1)，文本数据预处理及向量化，用于提供给步骤(2)、(3)、(4)；进行数据清洗、去停用词预处理；表示为以词嵌入为主的短文本向量数据；步骤(2)构建并训练判别器网络，将训练好的判别器的计算结果提供给步骤(3)的损失函数；将判别器命名为判别器D；判别器的作用是区分出生成器的生成数据以及数据集中的真实文本；将真实样本数据作为正例标记为1，随机初始化的向量作为反例标记为0，交替训练判别器D，使判别器具有一定的判别能力，判别器不仅采用卷积神经网络CNN，还添加了自注意力层获取更丰富的语义信息，能够学习上下文的关联信息，以及与当前词的重要性；(3)构建并训练生成器网络生成器需要损失函数的指导来得到更加逼近真实文本数据的向量，在改进的SeqGAN模型中，步骤(2)判别器的结果将作为奖励值Reward，通过增强学习的方式优化生成器G，添加生成器样本与真实文本的余弦差值作为一部分奖励值，引导生成器生成更加贴近真值的向量；(4)交替训练得到稳定的文本生成模型将生成器命名为生成器G；以生成对抗的方式，交替训练步骤(2)生成器G和步骤(3)判别器D，设计对抗损失函数，并通过Adam优化器得到新的文本数据集，以解决不平衡情况下的文本分类问题；使用生成对抗损失函数和Adam优化器来搜索最优的权值参数，用于生成新的文本数据。2.如权利要求1所述方法，特征是，步骤(2)包括下列子步骤:a)定义初始状态为S
Random
，是指随机生成的一个离散向量，长度为文本序列的最大长度。S
Random
在经过预训练后，得到具有一定语义表达能力的文本向量S0，该向量将成为生成模型最初的输入状态；在状态转移的过程中，文本向量S
i
被不断更新，其更新的方向由判别器D打分后的奖励值决定；b)单个时间步的奖励值Q
DG(θ|Si)
是指针对每个时间步的新词所对应的奖励值，累加用于计算整个网络生成句子的总奖励值。若当前时刻产生的单词不是句子末尾的单词，则通过蒙特卡洛搜索补全所有的可能序列并取平均；c)为了加入真...

【专利技术属性】
技术研发人员：王俊丽，吴雨茜，韩冲，张超波，
申请(专利权)人：同济大学，
类型：发明
国别省市：