文本生成模型构建、文本生成方法和装置、设备及介质制造方法及图纸

本申请实施例提供了一种文本生成模型构建、文本生成方法和装置、设备及介质，属于人工智能技术领域。方法包括：获取并将原始文本序列和重复文本序列输入至包括编码器、解码器、重复感知网络和全连接层的文本生成模型；通过编码器对原始文本序列进行编码得到文本向量序列；通过解码器对文本向量序列和重复文本序列进行解码得到候选文本序列；通过重复感知网络对候选文本序列进行重复字识别得到预测文本序列；通过全连接层对预测文本序列进行归一化得到预测字符概率序列；对预测字符概率序列和参考文本序列进行损失计算得到目标损失数据；根据目标损失数据对文本生成模型的参数调整。本申请实施例构建生成重复内容少的文本生成模型。成模型。成模型。

【技术实现步骤摘要】
文本生成模型构建、文本生成方法和装置、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种文本生成模型构建、文本生成方法和装置、设备及介质。

技术介绍

[0002]目前，自然语言生成也称为文本生成，以在给定序列输入文本生成模型以输出特定要求的输出序列。但是由于文本生成模型并没有考虑到重复性问题，所以基于序列到序列的文本生成模型无法克服输出文本存在重复性问题，使得生成结果难以满足特定要求。因此，如何构建抑制文本重复性的文本生成模型，成为了亟待解决的技术问题。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种文本生成模型构建、文本生成方法和装置、设备及介质，旨在构建减少重复文本生成的文本生成模型，以减少生成文本中的重复性问题。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种文本生成模型构建方法，所述方法包括：
[0005]获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
[0006]将所述原始文本序列和所述重复文本序列输入至预设的文本生成模型；其中，所述文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
[0007]通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；
[0008]通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；
[0009]通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；
[0010]通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
[0011]对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；
[0012]根据所述目标损失数据对所述文本生成模型进行参数调整。
[0013]在一些实施例，所述候选文本序列包括文本向量；所述重复感知网络包括：积分层、第一归一化层和加权求和层；所述通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列，包括：
[0014]通过所述积分层对所述候选文本序列中的任意两个文本向量进行求积处理，得到候选相似度分值，并获取负数的所述候选相似度分值作为选定相似度分值；
[0015]通过所述第一归一化层对所述选定相似度分值进行归一化处理，得到目标相似度分值；
[0016]通过所述加权求和层和所述目标相似度分值对所述候选文本序列中的文本向量进行加权求和，得到所述预测文本序列。
[0017]在一些实施例，所述全连接层包括：矩阵处理层和第二归一化层；所述通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列，包括：
[0018]通过所述矩阵处理层和预设的矩阵参数对所述预测文本序列进行矩阵相乘，得到文本矩阵；其中，所述文本矩阵包括：候选字符概率；
[0019]通过所述第二归一化层对所述候选字符概率进行归一化处理，得到所述预测字符概率，并将所述文本矩阵的所述预测字符概率合并成所述预测字符概率序列。
[0020]在一些实施例，所述重复文本序列包括：字级重复序列、词级重复序列和句级重复序列；所述字符概率序列包括：第一概率序列和第二概率序列；所述第一概率序列为所述字级重复序列的所述预测字符概率序列，所述第二概率序列为所述词级重复序列和所述句级重复序列的所述预测字符概率序列；
[0021]所述对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据，包括：
[0022]对所述第一概率序列进行损失计算，得到第一损失数据；
[0023]对所述第二概率序列进行损失计算，得到第二损失数据；
[0024]对所述预测字符概率序列和所述参考文本序列进行损失计算，得到文本生成损失数据；
[0025]将所述第一损失数据、所述第二损失数据和所述文本生成损失数据进行合并，得到所述目标损失数据。
[0026]在一些实施例，所述获取文本训练数据，包括：
[0027]获取所述原始文本序列和所述参考文本序列；
[0028]获取所述参考文本序列的首句序列作为参考句序列；
[0029]在所述参考句序列中加入预设的重复字，得到所述字级重复序列；其中，所述重复字为所述参考句序列中的任意一个字；
[0030]在所述参考句序列中加入预设的重复词，得到所述词级重复序列；其中，所述重复词为所述参考句序列中的任意一个词；
[0031]对所述参考句序列进行重复拼接处理，得到所述句级重复序列。
[0032]为实现上述目的，本申请实施例的第二方面提出了一种文本生成方法，所述方法包括：
[0033]获取待处理文本序列；
[0034]将所述待处理文本序列输入至文本生成模型进行文本生成，得到目标字符概率序列；其中，所述文本生成模型通过上述第一方面所述的文本生成模型构建方法生成；
[0035]根据预设词表和所述目标字符概率序列生成目标文本。
[0036]在一些实施例，所述根据预设词表和所述目标字符概率序列生成所述目标文本，包括：
[0037]从所述目标字符概率序列中选出最大字符概率对应的字符位置，得到目标字符位
置；
[0038]根据所述目标字符位置从所述预设词表中挑选出目标字符；
[0039]将所述目标字符进行顺序组合，得到所述目标文本。
[0040]为实现上述目的，本申请实施例的第三方面提出了一种文本生成模型构建装置，所述装置包括：
[0041]数据获取模块，用于获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；
[0042]文本输入模块，用于将所述文本训练数据输入至预设的文本生成模型；其中，文本生成模型包括：编码器、解码器、重复感知网络和全连接层；
[0043]编码模块，用于通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；
[0044]解码模块，用于通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；
[0045]重复字识别模块，用于通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；
[0046]归一化模块，用于通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；
[0047]损失计算模块，用于对所述字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；
[0048]参数调整模块，用于根据所述目标损失数据对所述文本生成模型进行参数调整。
[0049]为实现上述目的，本申请实施例的第四方面提出了一种电子设备，所述电子设备包括存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本生成模型构建方法，其特征在于，所述方法包括：获取文本训练数据；其中，所述文本训练数据包括：原始文本序列、参考文本序列和重复文本序列；将所述原始文本序列和所述重复文本序列输入至预设的文本生成模型；其中，所述文本生成模型包括：编码器、解码器、重复感知网络和全连接层；通过所述编码器对所述原始文本序列进行编码处理，得到文本向量序列；通过所述解码器对所述文本向量序列和所述重复文本序列进行解码处理，得到候选文本序列；通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列；通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列；其中，所述预测字符概率序列包括多个预测字符概率，且所述预测字符概率表征在预设词表第j个字符的概率值；对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据；根据所述目标损失数据对所述文本生成模型进行参数调整。2.根据权利要求1所述的方法，其特征在于，所述候选文本序列包括文本向量；所述重复感知网络包括：积分层、第一归一化层和加权求和层；所述通过所述重复感知网络对所述候选文本序列进行重复字识别处理，得到预测文本序列，包括：通过所述积分层对所述候选文本序列中的任意两个文本向量进行求积处理，得到候选相似度分值，并获取负数的所述候选相似度分值作为选定相似度分值；通过所述第一归一化层对所述选定相似度分值进行归一化处理，得到目标相似度分值；通过所述加权求和层和所述目标相似度分值对所述候选文本序列中的文本向量进行加权求和，得到所述预测文本序列。3.根据权利要求1所述的方法，其特征在于，所述全连接层包括：矩阵处理层和第二归一化层；所述通过所述全连接层对所述预测文本序列进行归一化处理，得到预测字符概率序列，包括：通过所述矩阵处理层和预设的矩阵参数对所述预测文本序列进行矩阵相乘，得到文本矩阵；其中，所述文本矩阵包括：候选字符概率；通过所述第二归一化层对所述候选字符概率进行归一化处理，得到所述预测字符概率，并将所述文本矩阵的所述预测字符概率合并成所述预测字符概率序列。4.根据权利要求1所述的方法，其特征在于，所述重复文本序列包括：字级重复序列、词级重复序列和句级重复序列；所述字符概率序列包括：第一概率序列和第二概率序列；所述第一概率序列为所述字级重复序列的所述预测字符概率序列，所述第二概率序列为所述词级重复序列和所述句级重复序列的所述预测字符概率序列；所述对所述预测字符概率序列和所述参考文本序列进行损失计算，得到目标损失数据，包括：对所述第一概率序列进行损失计算，得到第一损失数据；对所述第二概率序列进行损失计算，得到第二损失数据；
对所述预测字符概率序列和所述参考文本序列进行损失计算，得到文本生成损失数据；将所述第一损失数据、所述第二损失数据和所述文本生成损失数据进行合...

【专利技术属性】
技术研发人员：陈焕坤，王伟，曾志贤，张黔，张兴，顾伟正，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：