模型训练方法技术

本申请提供了一种模型训练方法，包括：获取原始数据及待训练的特征提取网络模型；根据该原始数据，生成扩增样本以及掩码样本，扩增样本通过对原始数据进行扩增得到，掩码样本通过在原始数据中添加掩码得到，从而利用扩增样本对特征提取网络模型进行自监督的对比式学习，并利用掩码样本对特征提取网络模型进行自监督的生成式学习，即可得到目标模型

【技术实现步骤摘要】
模型训练方法、装置及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种模型训练方法
、
装置及相关设备
。

技术介绍

[0002]目前，基于卷积神经网络
(convolutioanl neraul network
，
CNN)、
循环神经网络
(recurrent nerual network
，
RNN)
和自注意力机制网络等神经网络构建的人工智能
(artificial intelligence
，
AI)
模型，在文字识别
、
语音识别
、
目标检测等场景中存在广泛应用
。
其中，
AI
模型通常需要基于一组或者多组有标注的训练样本完成模型训练
。
[0003]但是，实际应用时，
AI
模型的训练样本通常是由人工进行标注，这不仅使得生成带标注的训练样本需要较高的人力成本，而且，人工标注训练样本所需耗时较长，从而降低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，其特征在于，所述方法包括：获取原始数据以及待训练的特征提取网络模型；根据所述原始数据，生成扩增样本以及掩码样本，所述扩增样本通过对所述原始数据进行扩增得到，所述掩码样本通过在所述原始数据中添加掩码得到；利用所述扩增样本对所述特征提取网络模型进行自监督的对比式学习，并利用所述掩码样本对所述特征提取网络模型进行自监督的生成式学习，得到目标模型
。2.
根据权利要求1所述的方法，其特征在于，所述利用所述扩增样本对所述特征提取网络模型进行自监督的对比式学习，并利用所述掩码样本对所述特征提取网络模型进行自监督的生成式学习，得到目标模型，包括：利用所述特征提取网络模型提取所述扩增样本中的第一特征以及所述掩码样本中的第二特征；基于所述第一特征进行自监督的对比式学习，生成第一学习结果，并基于所述第二特征进行自监督的生成式学习，生成第二学习结果；根据所述第一学习结果与第二学习结果，更新所述特征提取网络模型中的参数
。3.
根据权利要求1或2所述的方法，其特征在于，所述目标模型集成于神经网络模型，所述方法还包括：获取带标注的训练样本；基于所述带标注的训练样本，对所述神经网络模型进行训练
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述带标注的训练样本，对所述神经网络模型进行训练，包括：根据所述带标注的训练样本，生成带标注的扩增样本，所述带标注的扩增样本通过对所述训练样本进行扩增得到；利用所述目标模型提取所述带标注的扩增样本中的第三特征；根据所述第三特征以及所述带标注的扩增样本中的中的标注结果，训练所述神经网络模型
。5.
根据权利要求3所述的方法，其特征在于，所述基于所述带标注的训练样本，对所述神经网络模型进行训练，包括：根据所述带标注的训练样本，生成带标注的掩码样本，所述带标注的掩码样本通过在所述训练样本中添加掩码得到；利用所述目标模型提取所述带标注的掩码样本中的第四特征；基于所述第四特征进行自监督的生成式学习，生成第三学习结果；获取所述神经网络模型针对所述第四特征的推理结果；根据所述第三学习结果
、
所述推理结果以及所述带标注的掩码样本中的标注结果，更新所述神经网络模型中的参数
。6.
根据权利要求3至5任一项所述的方法，其特征在于，所述方法还包括：生成配置界面，所述配置界面用于将多种神经网络模型呈现给用户，不同神经网络模型用于实现不同类型的推理任务；响应于所述用户针对所述多种神经网络模型的选择操作，将所述目标模型集成于所述用户所选择的神经网络模型
。
7.
根据权利要求1至6任一项所述的方法，其特征在于，所述获取原始数据以及待训练的特征提取网络模型，包括：呈现信息输入界面；获取用户在所述信息输入界面上导入的所述原始数据以及所述待训练的特征提取网络模型
。8.
一种模型训练装置，其特征在于，所述模型训练装置包括：交互模块，用于获取原始数据以及待训练的特征提取网络模型；处理模块，用于根据所述原始数据，生成扩增样本以及掩码样本，所述扩增样本通过对所述原始数据进行扩增得到，所述掩码样本通过在所述原始数据中添加掩码得到；利用所述扩增样本...

【专利技术属性】
技术研发人员：杨明锟，廖明辉，卢普，王晶，朱声高，罗华霖，田奇，白翔，楼燚航，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：