一种文本生成模型的训练方法、装置、介质及电子设备制造方法及图纸

本说明书公开了一种文本生成模型的训练方法、装置、介质及电子设备，包括：先将从通用文本数据集中确定出的原始文本输入预先训练的类型识别模型，确定原始文本的模板标注。再根据模板标注，确定模板标注对应的目标模板。然后，根据原始文本、模板标注以及目标模板，生成训练文本生成模型的训练样本，将输入部分输入待训练的文本生成模型，得到输出文本，以样本标注与输出文本之间的差异最小为训练目标，对待训练的文本生成模型进行训练，增加了训练文本生成模型的训练样本，使得可以在训练样本较少的情况下，训练文本生成模型，使得文本生成模型训练效果好，提高文本生成模型的输出文本的准确性。本的准确性。本的准确性。

【技术实现步骤摘要】
一种文本生成模型的训练方法、装置、介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种文本生成模型的训练方法、装置、介质及电子设备。

技术介绍

[0002]随着科技的不断发展，自然语言处理得到广泛的关注，自然语言模型逐渐走入人们的视野，其中，文本生成模型在自然语言处理中占有重要的地位。
[0003]自然语言模型训练的特点是需要大量样本训练，文本生成模型也不例外，但是可能在通用的数据集中适用于该场景下的训练样本比较少，或者适用于该场景下的采集的数据可能未进行标注，导致训练该场景下的文本生成模型的训练样本比较少，文本生成模型训练效果不好，使得文本生成模型的输出文本不准确。因此，如何在训练样本比较少的情况下训练文本生成模型是一个问题。
[0004]基于此，本说明书提供了一种文本生成模型的训练方法。

技术实现思路

[0005]本说明书提供一种文本生成模型的训练方法、装置、介质及电子设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了文本生成模型的训练装置，包括：
[0008]从通用文本数据集中确定原始文本；
[0009]将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注；
[0010]根据所述模板标注，确定所述模板标注对应的目标模板；
[0011]根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，其中，所述目标模板用于将所述原始文本中的至少部分内容划分为样本标注，以及将划分为样本标注以外的原始文本和所述模板标注拼接为输入部分；
[0012]将所述输入部分输入待训练的文本生成模型，得到输出文本，以所述样本标注与所述输出文本之间的差异最小为训练目标，对所述待训练的文本生成模型进行训练。
[0013]可选地，从通用文本数据集中确定原始文本，具体包括：
[0014]确定待训练的文本生成模型的参数尺寸；
[0015]根据所述参数尺寸，确定训练样本的数量；
[0016]从通用文本数据集中确定所述数量的原始文本。
[0017]可选地，根据所述模板标注，确定所述模板标注对应的目标模板，具体包括：
[0018]根据所述模板标注，从预设的各提示模板中，选取所述模板标注对应的目标模板。
[0019]可选地，所述模板标注为任务类型；
[0020]根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，具体包括：
[0021]确定所述原始文本包含的第一文本和第二文本；
[0022]根据所述目标模板，确定所述第一文本和所述模板标注进行拼接作为所述目标模板的输入部分，以及确定所述第二文本作为所述目标模板的样本标注；
[0023]根据所述输入部分和所述样本标注，生成训练文本生成模型的训练样本。
[0024]可选地，所述模板标注为主题类型；
[0025]根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，具体包括：
[0026]根据所述目标模板，确定所述模板标注作为所述目标模板的输入部分，以及确定所述原始文本作为所述目标模板的样本标注；
[0027]根据所述输入部分和所述样本标注，生成训练文本生成模型的训练样本。
[0028]可选地，所述类型识别模型为文本分类模型；
[0029]将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：
[0030]将所述原始文本输入预先训练的文本分类模型，确定所述原始文本的任务类型，并作为模板标注。
[0031]可选地，所述类型识别模型为关键词提取模型；
[0032]将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：
[0033]将所述原始文本输入预先训练的关键词提取模型，确定所述原始文本的主题类型，并作为模板标注。
[0034]可选地，将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：
[0035]响应于用户输入的类型信息，从预先训练的类型识别模型中，确定所述原始文本的目标类型识别模型；
[0036]将所述原始文本输入所述目标类型识别模型，确定所述原始文本的模板标注。
[0037]可选地，将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：
[0038]确定预先训练的各类型识别模型；
[0039]针对每一个类型识别模型，将所述原始文本输入该类型识别模型，得到输出结果；
[0040]将得到的各输出结果作为所述原始文本的模板标注。
[0041]本说明书提供了一种文本生成模型的训练装置，包括：
[0042]第一确定模块，用于从通用文本数据集中确定原始文本；
[0043]第二确定模块，用于将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注；
[0044]第三确定模块，用于根据所述模板标注，确定所述模板标注对应的目标模板；
[0045]生成模块，用于根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，其中，所述目标模板用于将所述原始文本中的至少部分内容划分为样本标注，以及将划分为样本标注以外的原始文本和所述模板标注拼接为输入部分；
[0046]训练模块，用于将所述输入部分输入待训练的文本生成模型，得到输出文本，以所
述样本标注与所述输出文本之间的差异最小为训练目标，对所述待训练的文本生成模型进行训练。
[0047]可选地，所述第一确定模块具体用于，确定待训练的文本生成模型的参数尺寸；根据所述参数尺寸，确定训练样本的数量；从通用文本数据集中确定所述数量的原始文本。
[0048]可选地，所述第三确定模块具体用于，根据所述模板标注，从预设的各提示模板中，选取所述模板标注对应的目标模板。
[0049]可选地，所述模板标注为任务类型；
[0050]所述生成模块具体用于，确定所述原始文本包含的第一文本和第二文本；根据所述目标模板，确定所述第一文本和所述模板标注进行拼接作为所述目标模板的输入部分，以及确定所述第二文本作为所述目标模板的样本标注；根据所述输入部分和所述样本标注，生成训练文本生成模型的训练样本。
[0051]可选地，所述模板标注为主题类型；
[0052]所述生成模块具体用于，根据所述目标模板，确定所述模板标注作为所述目标模板的输入部分，以及确定所述原始文本作为所述目标模板的样本标注；根据所述输入部分和所述样本标注，生成训练文本生成模型的训练样本。
[0053]可选地，所述类型识别模型为文本分类模型；
[0054]所述第二确定模块具体用于，将所述原始文本输入预先训练的文本分类模型，确定所述原始文本的任务类型，并作为模板本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本生成模型的训练方法，其特征在于，包括：从通用文本数据集中确定原始文本；将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注；根据所述模板标注，确定所述模板标注对应的目标模板；根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，其中，所述目标模板用于将所述原始文本中的至少部分内容划分为样本标注，以及将划分为样本标注以外的原始文本和所述模板标注拼接为输入部分；将所述输入部分输入待训练的文本生成模型，得到输出文本，以所述样本标注与所述输出文本之间的差异最小为训练目标，对所述待训练的文本生成模型进行训练。2.如权利要求1所述的方法，其特征在于，从通用文本数据集中确定原始文本，具体包括：确定待训练的文本生成模型的参数尺寸；根据所述参数尺寸，确定训练样本的数量；从通用文本数据集中确定所述数量的原始文本。3.如权利要求1所述的方法，其特征在于，根据所述模板标注，确定所述模板标注对应的目标模板，具体包括：根据所述模板标注，从预设的各提示模板中，选取所述模板标注对应的目标模板。4.如权利要求1所述的方法，其特征在于，所述模板标注为任务类型；根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，具体包括：确定所述原始文本包含的第一文本和第二文本；根据所述目标模板，确定所述第一文本和所述模板标注进行拼接作为所述目标模板的输入部分，以及确定所述第二文本作为所述目标模板的样本标注；根据所述输入部分和所述样本标注，生成训练文本生成模型的训练样本。5.如权利要求1所述的方法，其特征在于，所述模板标注为主题类型；根据所述原始文本、所述模板标注以及所述目标模板，生成训练文本生成模型的训练样本，具体包括：根据所述目标模板，确定所述模板标注作为所述目标模板的输入部分，以及确定所述原始文本作为所述目标模板的样本标注；根据所述输入部分和所述样本标注，生成训练文本生成模型的训练样本。6.如权利要求1所述的方法，其特征在于，所述类型识别模型为文本分类模型；将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：将所述原始文本输入预先训练的文本分类模型，确定所述原始文本的任务类型，并作为模板标注。7.如权利要求1所述的方法，其特征在于，所述类型识别模型为关键词提取模型；将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：将所述原始文本输入预先训练的关键词提取模型，确定所述原始文本的主题类型，并
作为模板标注。8.如权利要求1所述的方法，其特征在于，将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：响应于用户输入的类型信息，从预先训练的类型识别模型中，确定所述原始文本的目标类型识别模型；将所述原始文本输入所述目标类型识别模型，确定所述原始文本的模板标注。9.如权利要求1所述的方法，其特征在于，将所述原始文本输入预先训练的类型识别模型，确定所述原始文本的模板标注，具体包括：确定预先训练的各类型识别模型；针对每一个类型识别模型，将所述原始文本输入该类型识别模型，得到输出结果；将得到的各输出结果作为所述原始文本的模板标注。10.一种文本...

【专利技术属性】
技术研发人员：张丽颖，张云云，程永利，陆宇婧，程稳，李勇，陈光，曾令仿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：