文本生成方法、装置、计算机设备及介质制造方法及图纸

本发明专利技术属于模型构建领域，公开了一种文本生成方法、装置、设备及介质，该方法包括：从真实文本数据集中获取文本正样本，然后建立初始生成器模型，用文本正样本对初始生成器模型进行预训练得到生成器模型，用生成器模型生成文本负样本；接着建立初始判别器模型，用文本正样本和文本负样本进行预训练得到判别器模型；再让生成器模型与判别器模型不断对抗并更新模型的参数，当判别器模型收敛时，根据收敛时的生成器模型得到文本生成模型；获取待识别文本，并将待识别文本输入至文本生成模型中，基于文本生成模型生成目标文本。本发明专利技术的文本生成方法可以提高文本生成模型的构建效率和生成文本的精度。

Text Generation Method, Device, Computer Equipment and Media

The invention belongs to the field of model building, and discloses a text generation method, device, device and medium. The method includes: obtaining positive text samples from real text data sets, then establishing an initial generator model, pre-training the initial generator model with positive text samples, and generating negative text samples with generator model; and then establishing an initial judgement. The discriminator model is obtained by pre-training the positive and negative samples of the text. Then the generator model and the discriminator model are constantly confronted and updated. When the discriminator model converges, the text generation model is obtained according to the generator model when the discriminator model converges. The text to be recognized is acquired and input into the text generation model based on the text. Generate model to generate target text. The text generation method of the present invention can improve the construction efficiency of the text generation model and the accuracy of the text generation.

【技术实现步骤摘要】
文本生成方法、装置、计算机设备及介质
本专利技术属于模型构建领域，更具体地说，是涉及一种文本生成方法、装置、计算机设备及介质。
技术介绍
随着科技的发展，我们希望计算机能够像人类一样会写作，能够撰写出高质量的自然语言文本，而文本自动生成技术就是实现这一目标的关键技术。目前，常用的方法是利用长短期记忆网络(LongShort-TermMemoryNetworks，简称LSTM)来进行文本生成，LSTM是递归神经网络(Recurrent/RecursiveNeuralNetwork，简称RNN)的一种。其中，训练RNN常用的方式是最大似然估计，即在给定前t-1个单词的情况下，通过最大化第t个单词的对数似然来给出下一个单词。但是，使用RNN的不足在于是会产生逐步递增的偏差，因为在生成一句话的时候，RNN是逐个单词依次生成的，下一单词是在前面单词给定的基础上生成的，这样就导致产生了一个偏差，而且随着序列的长度的增加，偏差也会越来越大。另外，RNN不能进行自我改进，对于RNN的某些应用，可以加入最小化损失函数来改进模型。但是对于文本生成模型，由于输入的数据为离散型数据，因此没有直接可用的损失函数，没有一种合适方式来指导文本生成模型进行自我改进以获得接近真实的输出。综上所述，目前用以生成文本的模型的效率较低，亟待找到一种文本生成模型可以较快速、较准确的生成文本。
技术实现思路
本专利技术实施例提供一种文本生成方法、装置、计算机设备及存储介质，以解决目前生成文本的效率较低的问题。一种文本生成方法，包括：获取真实文本数据集，从所述真实文本数据集中获取文本正样本；建立初始生成器模型，将所述文本正样本输入至所述初始生成器模型进行预训练，得到生成器模型，并根据所述生成器模型生成第一文本负样本；建立初始判别器模型，将所述文本正样本与所述第一文本负样本输入至所述初始判别模型中进行预训练，得到判别器模型；基于所述生成器模型生成测试文本，将所述测试文本输入至所述判别器模型中获取所述测试文本的奖励值，根据所述奖励值计算所述生成器模型的梯度，并根据所述梯度更新所述生成器模型；根据更新后的所述生成器模型生成第二文本负样本，将所述第二文本负样本与所述文本正样本输入至判别器模型中，根据最小化交叉熵更新所述判别器模型；交替更新所述生成器模型和所述判别器模型，若所述判别器模型的输出收敛，则根据收敛时的所述生成器模型得到文本生成模型；获取待识别文本，并将所述待识别文本输入至所述文本生成模型中，基于所述文本生成模型生成目标文本。一种文本生成装置，包括：文本正样本获取模块，用于获取真实文本数据集，从所述真实文本数据集中获取文本正样本；生成器模型获取模块，用于建立初始生成器模型，将所述文本正样本输入至所述初始生成器模型进行预训练，得到生成器模型，并根据所述生成器模型生成第一文本负样本；判别器模型获取模块，用于建立初始判别器模型，将所述文本正样本与所述第一文本负样本输入至所述初始判别模型中进行预训练，得到判别器模型；生成器模型更新模块，用于基于所述生成器模型生成测试文本，将所述测试文本输入至所述判别器模型中获取所述测试文本的奖励值，根据所述奖励值计算所述生成器模型的梯度，并根据所述梯度更新所述生成器模型；判别器模型更新模块，用于根据更新后的所述生成器模型生成第二文本负样本，将所述第二文本负样本与所述文本正样本输入至判别器模型中，根据最小化交叉熵更新所述判别器模型；文本生成模型获取模块，用于交替更新所述生成器模型和所述判别器模型，若所述判别器模型的输出收敛，则根据收敛时的所述生成器模型得到文本生成模型；目标文本生成模块，用于获取待识别文本，并将所述待识别文本输入至所述文本生成模型中，基于所述文本生成模型生成目标文本。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本生成方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文本生成方法。上述文本生成方法、装置、计算机设备及存储介质，通过获取真实文本数据集，从真实文本数据集中获取文本正样本；建立初始生成器模型，将文本正样本输入至初始生成器模型进行预训练，得到生成器模型，并根据生成器模型生成第一文本负样本；建立初始判别器模型，将文本正样本与第一文本负样本输入至初始判别模型中进行预训练，得到判别器模型；基于生成器模型生成测试文本，将测试文本输入至判别器模型中获取测试文本的奖励值，根据奖励值计算生成器模型的梯度，并根据梯度更新生成器模型；根据更新后的生成器模型生成第二文本负样本，将第二文本负样本与文本正样本输入至判别器模型中，根据最小化交叉熵更新判别器模型；交替更新生成器模型和判别器模型，若判别器模型的输出收敛，则根据收敛时的生成器模型得到文本生成模型，获取待识别文本，并将待识别文本输入至文本生成模型中，基于文本生成模型生成目标文本。通过构建生成器模型和判别器模型，再让生成器模型与判别器模型不断对抗，不断自我改进，可以快速构建文本生成模型，并且生成文本的准确性高，提高了文本生成模型的构建效率和生成文本的精度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中文本生成方法的一应用环境示意图；图2是本专利技术一实施例中文本生成方法的一流程图；图3是本专利技术一实施例中文本生成方法的另一流程图；图4是本专利技术一实施例中文本生成方法的另一流程图；图5是本专利技术一实施例中文本生成方法的另一流程图；图6是本专利技术一实施例中文本生成方法的另一流程图；图7是本专利技术一实施例中文本生成装置的一原理框图；图8是本专利技术一实施例中文本生成装置中生成器模型获取模块的一原理框图；图9是本专利技术一实施例中文本生成装置中判别器模型获取模块的一原理框图；图10是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请提供的文本生成方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端通过客户端获取真实文本数据集，从真实文本数据库中获取文本正样本；然后根据客户端的输入建立初始生成器模型，将文本正样本输入至初始生成器模型进行预训练，得到生成器模型，并根据生成器模型生成第一文本负样本；接着根据客户端的输入建立初始判别器模型，将文本正样本与第一文本负样本输入至初始判别器模型中进行预训练，得到判别器模型；再接着服务端基于生成器模型生成测试文本，将测试文本输入至判别器模型中获取测试文本的奖励值，根据奖励值计算生成器模型的梯度，并根据梯度更新生成器模型；服务端根据更新后的生成器模型生成第二文本负样本，将第二文本负样本与文本正样本输入至判别器模型中本文档来自技高网...

【技术保护点】
1.一种文本生成方法，其特征在于，包括：获取真实文本数据集，从所述真实文本数据集中获取文本正样本；建立初始生成器模型，将所述文本正样本输入至所述初始生成器模型进行预训练，得到生成器模型，并根据所述生成器模型生成第一文本负样本；建立初始判别器模型，将所述文本正样本与所述第一文本负样本输入至所述初始判别模型中进行预训练，得到判别器模型；基于所述生成器模型生成测试文本，将所述测试文本输入至所述判别器模型中获取所述测试文本的奖励值，根据所述奖励值计算所述生成器模型的梯度，并根据所述梯度更新所述生成器模型；根据更新后的所述生成器模型生成第二文本负样本，将所述第二文本负样本与所述文本正样本输入至判别器模型中，根据最小化交叉熵更新所述判别器模型；交替更新所述生成器模型和所述判别器模型，若所述判别器模型的输出收敛，则根据收敛时的所述生成器模型得到文本生成模型；获取待识别文本，并将所述待识别文本输入至所述文本生成模型中，基于所述文本生成模型生成目标文本。

【技术特征摘要】
1.一种文本生成方法，其特征在于，包括：获取真实文本数据集，从所述真实文本数据集中获取文本正样本；建立初始生成器模型，将所述文本正样本输入至所述初始生成器模型进行预训练，得到生成器模型，并根据所述生成器模型生成第一文本负样本；建立初始判别器模型，将所述文本正样本与所述第一文本负样本输入至所述初始判别模型中进行预训练，得到判别器模型；基于所述生成器模型生成测试文本，将所述测试文本输入至所述判别器模型中获取所述测试文本的奖励值，根据所述奖励值计算所述生成器模型的梯度，并根据所述梯度更新所述生成器模型；根据更新后的所述生成器模型生成第二文本负样本，将所述第二文本负样本与所述文本正样本输入至判别器模型中，根据最小化交叉熵更新所述判别器模型；交替更新所述生成器模型和所述判别器模型，若所述判别器模型的输出收敛，则根据收敛时的所述生成器模型得到文本生成模型；获取待识别文本，并将所述待识别文本输入至所述文本生成模型中，基于所述文本生成模型生成目标文本。2.如权利要求1所述的文本生成方法，其特征在于，所述从所述真实文本数据集中获取文本正样本，包括：从所述真实文本数据集中选取N个文本数据，N为正整数；将N个所述文本数据用词向量模型转化为向量形式，将转化为向量形式的N个所述文本数据作为文本正样本。3.如权利要求1所述的文本生成方法，其特征在于，所述建立初始生成器模型，将所述文本正样本输入至所述初始生成器模型进行预训练，得到生成器模型，并根据所述生成器模型生成第一文本负样本，包括：将初始生成参数输入递归神经网络建立初始生成器模型；将所述文本正样本输入至所述初始生成器模型中进行预训练，并根据概率分布函数转化为概率输出，得到预训练后的参数；根据所述预训练后的参数更新所述初始生成器模型的参数，得到生成器模型。4.如权利要求1所述的文本生成方法，其特征在于，所述建立初始判别器模型，将所述文本正样本与所述第一文本负样本输入至所述初始判别模型中进行预训练，得到判别器模型，包括：将初始判别参数输入至卷积神经网络建立初始判别器模型；将所述文本正样本与所述第一文本负样本输入至所述初始判别器模型中进行预训练，根据概率分布函数转化为概率输出，并根据最小化交叉熵更新所述初始判别器的初始判别参数，得到预训练后的判别参数；根据所述预训练后的判别参数更新所述初始判别器模型的参数，得到判别器模型。5.如权利要求1所述的文本生成方法，其特征在于，所述基于所述生成器模型生成测试文本，将所述测试文本输入至所述判别器模型中获取所述测试文本的奖励值，根据所述奖励值计算所述生成器模型的梯度，并根据所述梯度更新所述生成器模型，包括：获取生成所述测试文本过程中的文本作为测试子文本；根据每一所述测试子文本采用蒙特卡洛搜索方式生成M个假设文本；将M个所述假设文本输入至所述判别器模型中，获取M个所述假设文本的奖励均值作为所述测试子文本的奖励值，并将所述测试文本输入至所述判别器模型中，获取所述测试文本的奖励值；根...

【专利技术属性】
技术研发人员：毕野，黄博，吴振宇，王建明，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44