【技术实现步骤摘要】
一种预训练方法及相关方法和设备
[0001]本专利技术涉及无监督学习
，尤其涉及一种预训练方法及相关方法和设备。
技术介绍
[0002]包含编码器的信息预测模型的一般获得方式为，先基于预训练方法获得编码器，即，用无监督数据对初始的预训练模型进行训练，将训练得到的模型中的编码部分作为编码器，在此基础上构建包括编码器和预测模块的模型，进而利用指定任务的训练数据对构建的模型进行微调，从而得到最终针对指定任务的信息预测模型。
[0003]目前的预训练方法多为基于单模态数据的预训练方法，即基于单一模态的数据对预训练模型进行训练，比如，基于音频数据的预训练方法基于音频数据对预训练模型进行训练。目前，基于单模态数据的预训练方法有多种，比如，基于对比学习的预训练方法、基于掩码预测机制的预训练方法等。
[0004]虽然基于单模态数据的预训练方法取得了巨大的成功，但是，其仅局限在单模态数据应用场景，无法适用于多模态数据应用场景。
技术实现思路
[0005]有鉴于此，本专利技术提供了一种预训练方法及相关方法和...
【技术保护点】
【技术特征摘要】
1.一种预训练方法，其特征在于，包括：获取多模态训练数据；基于包括编码部分和辅助训练部分的学生模型，对所述多模态训练数据进行编码，得到第一编码结果，并基于所述第一编码结果预测特征，其中，所述辅助训练部分至少用于对编码过程中产生的特征中的部分特征进行掩码遮蔽处理；基于只包括编码部分的教师模型，对所述多模态训练数据进行编码，得到第二编码结果，并基于所述第二编码结果确定目标特征；以使基于所述第一编码结果预测的特征趋近于所述目标特征为目标，对所述学生模型进行参数更新，其中，所述教师模型的参数随所述学生模型参数的更新而更新；训练结束后得到的学生模型作为目标预训练模型。2.根据权利要求1所述的预训练方法，其特征在于，所述辅助训练部分包括：掩码遮蔽模块和随机模态丢弃模块；所述随机模态丢弃模块，用于基于设定的模态丢弃概率，对所述学生模型的编码部分在编码过程中产生的多模态特征进行模态丢弃处理，其中，所述模态丢弃概率包括每种模态的特征被丢弃的概率以及不进行模态丢弃的概率；所述掩码遮蔽模块，用于对模态丢弃处理后的特征中的部分特征进行掩码遮蔽处理。3.根据权利要求2所述的预训练方法，其特征在于，基于学生模型对多模态训练数据进行编码，得到第一编码结果，包括：对所述多模态训练数据进行损毁处理，得到损毁后多模态训练数据；基于所述学生模型的编码部分，对所述损毁后多模态训练数据中各模态的数据分别提取特征，得到的特征作为第一多模态特征；基于所述学生模型的随机模态丢弃模块，对所述第一多模态特征进行模态丢弃处理，得到模态丢弃后特征；基于所述学生模型的编码部分，对所述模态丢弃后特征进行融合处理，得到第一融合特征；基于所述学生模型的掩码遮蔽模块，对所述第一融合特征中的部分特征进行掩码遮蔽处理，得到掩码遮蔽后特征；基于所述学生模型的编码部分，对所述掩码遮蔽后特征进行上下文编码，得到第一编码结果。4.根据权利要求1所述的预训练方法，其特征在于，基于教师模型对所述多模态训练数据进行编码，得到第二编码结果，包括：基于所述教师模型，对所述多模态训练数据中各模态的数据分别提取特征，得到的特征作为第二多模态特征；基于所述教师模型，对所述第二多模态特征进行融合处理，得到第二融合特征；基于所述教师模型，对所述第二融合特征进行上下文编码，得到第二编码结果。5.根据权利要求2所述的预训练方法，其特征在于，所述编码部分包括多种模态分别对应的前端编码模块，以及，特征融合模块和上下文编码模块；基于学生模型对多模态训练数据进行编码，得到第一编码结果，包括：对所述多模态训练数据进行损毁处理，得到损毁后多模态训练数据；
基于所述学生模型的各前端编码模块，对所述损毁后多模态训练数据中对应模态的数据提取特征，得到的特征作为第一多模态特征；；基于所述学生模型的随机模态丢弃模块，对所述第一多模态特征进行模态丢弃处理，得到模态丢弃后特征；基于所述学生模型的特征融合模块，对所述模态丢弃后特征进行融合处理，得到第一融合后特征；基于所述学生模型的掩码遮蔽模块，对所述第一融合后特征中的部分特征进行掩码遮蔽处理，得到掩码遮蔽后特征；基于所述学生模型的上下文编码模块，对所述掩码遮蔽后特征进行上下文编码，得到第一编码结果。6.根据权利要求1所述的预训练方法，其特征在于，所述以使基于所述第一编码结果预测的特征趋近于所述目标特征为目标，对所述学生模型进行参数更新，包括：基于预测的特征和所述目标特征，确定...
【专利技术属性】
技术研发人员：张景宣，万根顺，付中华，潘嘉，高建清，刘聪，胡国平，刘庆峰，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。