文本处理方法、文章生成方法以及文本处理模型训练方法技术

本说明书实施例提供文本处理方法、文章生成方法以及文本处理模型训练方法，其中所述文本处理方法包括：获取待处理文本；将所述待处理文本输入文本处理模型进行处理，获得文本处理结果，其中，所述文本处理模型基于多种任务类型的样本文本分阶段训练得到，不同任务类型的样本文本对应的训练功能不同。通过多种任务类型的样本文本分阶段训练得到文本处理模型，也即类似于人学习思维的多任务多阶段渐进式训练，让文本模型训练能力更充分，使文本处理模型在下游多个场景表现更强，适用范围更广。从而提高文本模型训练进行文本处理的效率和精准度，提高了文本处理结果的精确度。提高了文本处理结果的精确度。提高了文本处理结果的精确度。

【技术实现步骤摘要】
文本处理方法、文章生成方法以及文本处理模型训练方法


[0001]本说明书实施例涉及计算机技术和人工智能领域，特别涉及一种文本处理方法。本说明书一个或者多个实施例同时涉及一种文章生成方法，一种文本处理模型训练方法，一种文本处理装置，一种文章生成装置，一种文本处理模型训练装置，一种计算设备以及一种计算机可读存储介质。

技术介绍

[0002]随着计算机技术的发展，人工智能技术中自然语言处理技术也得到了快速发展。在人工智能领域中的自然语言处理领域，预训练语言模型凭借着其强大的特征学习能力以及无监督自编码语言模型训练方法实现的双向编码，大幅地提高了各项自然语言处理任务的基准结果。在预训练语言模型的基础上，针对自然语言生成任务，很多公司提出了各样的预训练生成模型。然而，现有的预训练生成模型都是采用单一的训练和学习方式训练得到，使模型适用范围比较单一，很难适应下游丰富的场景。因此，亟需一种有效的方案以解决上述问题。

技术实现思路

[0003]有鉴于此，本说明书施例提供了一种文本处理方法。本说明书一个或者多个实施例同时涉及一种文章生成方法，一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，包括：获取待处理文本；将所述待处理文本输入文本处理模型进行处理，获得文本处理结果，其中，所述文本处理模型基于多种任务类型的样本文本分阶段训练得到，不同任务类型的样本文本对应的训练功能不同。2.根据权利要求1所述的方法，所述将所述待处理文本输入文本处理模型进行处理，获得文本处理结果之前，还包括：获取多个样本文本集，其中，各样本文本集的任务类型不同，所述样本文本集中包含多个样本文本；根据所述各样本文本集的任务类型和设定匹配关系，确定各样本文本集的训练指标，其中，所述设定匹配关系记录有所述任务类型与所述训练指标的匹配关系；从所述多个样本文本集中所述训练指标最低的样本文本集开始，依次根据当前样本文本集对初始模型进行继承训练，直到所述训练指标最高的样本文本集，得到训练好的文本处理模型。3.根据权利要求2所述的方法，所述多个样本文本集包括字词填充类型的第一样本文本集、语句还原类型的第二样本文本集和文本续写类型的第三样本文本集；所述从所述多个样本文本集中所述训练指标最低的样本文本集开始，依次根据当前样本文本集对初始模型进行继承训练，直到所述训练指标最高的样本文本集，得到训练好的文本处理模型，包括：根据所述第一样本文本集，对初始模型的字词填充功能进行训练，得到第一模型；根据所述第二样本文本集，对所述第一模型的语句还原功能进行训练，得到第二模型；根据所述第三样本文本集，对所述第二模型的文本续写功能进行训练，得到训练好的文本处理模型。4.根据权利要求3所述的方法，所述第一样本文本集包括多个携带有字词标签的填空文本，所述填空文本为缺少字词的文本；所述根据所述第一样本文本集，对初始模型的字词填充功能进行训练，得到第一模型，包括：从所述第一样本文本集提取第一填空文本，其中，所述第一填空文本为所述第一样本文本集中的任一填空文本；将所述第一填空文本输入至初始模型进行字词填充处理，得到预测字词；根据所述预测字词与所述第一填空文本携带有的字词标签，确定第一损失值；根据所述第一损失值对所述初始模型的模型参数进行调整，并返回执行所述从所述第一样本文本集提取第一填空文本的步骤，在达到第一停止条件的情况下，获得第一模型。5.根据权利要求3所述的方法，所述第二样本文本集包括多个携带有第一文本标签的乱序文本，所述乱序文本为语句顺序被打乱的文本，所述第一文本标签为语句顺序未被打乱的文本；所述根据所述第二样本文本集，对所述第一模型的语句还原功能进行训练，得到第二模型，包括：从所述第二样本文本集提取第一乱序文本，其中，所述第一乱序文本为所述第二样本
文本集中的任一乱序文本；将所述第一乱序文本输入至所述第一模型进行语句还原处理，得到语句还原后的第一预测文本；根据所述第一预测文本与所述第一乱序文本携带有的第一文本标签，确定第二损失值；根据所述第二损失值对所述第一模型的模型参数进行调整，并返回执行所述从所述第二样本文本集提取第一乱序文本的步骤，在达到第二停止条件的情况下，获得第二模型。6.根据权利要求5所述的方法，所述乱序文本为语句顺序被打乱且缺少字词的文本；所述将所述第一乱序文本输入至所述第一模型进行语句还原处理，得到语句还原后的第一预测文本，包括：将所述第一乱序文本输入至所述第一模型的字词填充单元进行字词填充处理，得到第二乱序文本，其中，所述第二乱序文本中缺少的字词被填充；将所述第二乱序文本输入至所述第一模型的语句还原单元进行语句还原处理，得到语句还原后的第一预测文本。7.根据权利要求3所述的方法，所述第三样本文本集包括多个携带有第二文本标签的续写文本，所述续写文本为缺失文本内容的文本，所述第二文本标签为所述续写文本缺失的文本内容；所述根据所述第三样本文本集，对所述第二模型的文本续写功能进行训练，得到训练好文本处理模型，包括：从所述第三样本文本集提取第一续写文本，其中，所述第一续写文本为所述第三样本文本集中的任一续写文本；将所述第一续写文本输入至所述第二模型进行文本续写处...

【专利技术属性】
技术研发人员：李晨亮，闭彬，黄松芳，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：