模型训练方法、下游任务的处理方法及装置、和电子设备制造方法及图纸

本申请涉及一种模型训练方法、下游任务的处理方法及装置、和电子设备，该方法包括：基于初始训练样本，生成第一训练样本；其中，第一训练样本中包括初始训练样本的类别信息、初始训练样本对应的第一文本单元集、及初始训练样本对应的类别信息集；对第一训练样本进行掩码处理，得到第二训练样本；利用第一模型对第二训练样本进行掩码预测，得到第二文本单元集；基于第二文本单元集，对第一模型的模型参数进行至少一次更新，得到训练后的第一模型。本申请通过在样本中引入各个文本单元的类别信息对模型进行训练，模型可以学习到文本单元的类别信息和上下文之间的关联，使得训练后的模型能够对各种语料进行精准识别，从而提升用户的体验。

【技术实现步骤摘要】

本申请涉及自然语言处理，具体涉及一种模型训练方法、下游任务的处理方法及装置、和电子设备。

技术介绍

1、相关技术中，在nlp(natural language processing，自然语言处理)领域中，预训练语言模型在多项nlp任务上都表现出极佳的效果，例如，roberta模型通过自我监督的方式，在大规模文本语料上进行预训练，从中学习得到丰富的上下文表示。然而，对于一些存在多义词、上下文语义不完整等的语料，模型的识别准确度并不高，影响用户的体验。

技术实现思路

1、本申请的目的之一在于提供一种模型训练方法，以解决相关技术中模型对存在多义词、语义不完整的语料的识别准确度不高的问题；目的之二在于提供一种下游任务的处理方法；目的之三在于提供一种模型训练装置；目的之四在于提供一种下游任务的处理装置；目的之五在于提供一种电子设备；目的之六在于提供一种计算机可读存储介质。

2、为了实现上述目的，本申请提供一种模型训练方法，采用的技术方案如下：

3、基于初始训练样本，生成第一训练样本；其中，所述第本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第二文本单元集，对第一模型的模型参数进行至少一次更新，得到训练后的第一模型，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于初始训练样本，生成第一训练样本，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述第一训练样本进行掩码处理，得到第二训练样本，包括：

5.根据权利要求4所述的方法，其特征在于，

6.根据权利要求1所述的方法，其特征在于，所述利用第一模型对所述第二训练样本进行掩码预测，得到第二文本单元集...

【技术特征摘要】

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第二文本单元集，对第一模型的模型参数进行至少一次更新，得到训练后的第一模型，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于初始训练样本，生成第一训练样本，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述第一训练样本进行掩码处理，得到第二训练样本，包括：

5.根据权利要求4所述的方法，其特征在于，

6.根据权利要求1所述的方法，其特征在于，所述利用第一模型对所述第二训练样本进行掩码预测，得到第二文本单元集，包括：

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述基于初始语料库，生成预训练语料库，包括：

9.根据权利要求7所述的...

【专利技术属性】
技术研发人员：郭苏州，贺刚，刁楷，任伟，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：