一种基于深度学习的文本生成方法技术

本发明专利技术属于自然语言处理技术领域，涉及一种基于深度学习的文本生成方法。包括：收集目标任务数据集，增加损失函数，在目标任务数据集上重新训练初始生成模型；构建用于训练打分模型的数据集，包括数据集的生成以及划分等操作；构建打分模型，使用打分模型训练数据集对打分模型进行训练至收敛，通过测试集验证模型性能；将打分模型与生成模型相结合，在生成模型的解码阶段插入打分模块，通过打分模型的输出调整候选词的概率分布。经过本发明专利技术的优化后，文本生成模型的生成质量明显提升，其具体表现在，在以生成结果与参考标准相匹配程度为评价指标的任务中，生成结果的指标分数明显提高。高。高。

【技术实现步骤摘要】
一种基于深度学习的文本生成方法


[0001]本专利技术属于自然语言处理
，涉及一种基于深度学习的文本生成方法。

技术介绍

[0002]自然语言处理是人工智能的分支之一，其主要目标是让机器学习到人类的语言特征，从而完成一系列此前需要人类智能才能完成的任务。文本生成是自然语言处理领域的重要研究方向，包括机器翻译、摘要生成、对话生成、故事生成等等诸多任务。
[0003]当前文本生成任务主要采用自回归式生成方法，即逐词依次生成。在每个词生成时，根据上文所有文本计算词表中每个词在当前位置出现的概率，根据采样算法选出生成结果。
[0004]近年来，以GPT
‑
2为代表的大型预训练语言模型出现，使文本生成的质量有了较大提升。通过在特定领域数据集上对预训练模型进行微调训练，即可实现各种不同的具体任务。
[0005]然而在实际应用中，文本生成任务依然存在一些亟待解决的关键问题。第一、模型生成的文本仍然与人类自然语言具有差距，无论是语法的准确性、上下文的逻辑性、表意的流畅性等方面都无法实现完全以假乱真。第二、对于具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的文本生成方法，其特征在于，包括如下步骤：步骤(1)：收集目标任务数据集，增加损失函数，在目标任务数据集上重新训练文本的初始生成模型G0；步骤(2)：构建用于训练打分模型的数据集，包括数据集的生成以及划分；步骤(3)：构建打分模型M
score
，使用步骤(2)所述数据集对打分模型进行训练至收敛，通过测试集验证打分模型性能；步骤(4)：将打分模型与生成模型相结合，在生成模型的解码阶段插入打分模块，通过打分模型的输出调整候选词的概率分布；进一步地，所述步骤(1)包括以下步骤：(1.1)根据目标任务，收集相关数据集D
gen
，其中每一条数据包括生成模型的输入和生成结果的标准参考；选择初始生成模型G0的结构，要求初始生成模型G0可以在数据集D
gen
上进行训练和推断；(1.2)确定表示模型的结构，构建表示模型M
r
；在数据集D
gen
上训练表示模型M
r
，使表示模型M
r
可以完成从句子到向量的映射；(1.3)设计均方误差损失函数L
r
，公式如下：其中z
i
表示在训练过程中模型生成的第i个句子输入表示模型M
r
后得到的向量，即M
r
(y)，该句子由表示模型最后一层的输出依据贪心算法采样得到；表示第i个句子的标准生成结果由表示模型M
r
映射后的向量，即将均方误差损失与初始生成模型G0的损失L
LM
相加，即：L＝L
r
+L
LM
将L作为新的损失函数重新训练初始生成模型G0，得到优化后的生成模型G1；进一步地，所述步骤(2)包括以下步骤：(2.1)令优化后的生成模型G1在数据集D
gen
上完成生成任务，将每一句的生成结果y与对应的原输入x、标准参考一一匹配，组成全新的数据集，即打分模型数据集D
score
；(2.2)将打分模型数据集D
score
划分成训练集、验证集和测试集，分别用于打分模型M
score
的训练、验证和测试；进一步地，所述步骤(3)包括以下步骤：(3.1)构建打分模型M
score
，确定网络结构，设置合理超参数；(3.2)从打分模型数据集D
score
中获取数据，将每条数据拆分为原输入x、...

【专利技术属性】
技术研发人员：姚念民，刘晗旭，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：