模型训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40181322 阅读:27 留言:0更新日期:2024-01-26 23:47
本申请实施例公开了一种模型训练方法、装置、电子设备及存储介质,可以基于第一处理层当前的原始参数矩阵和辅助参数矩阵得到第一处理层每一次的输出,因此能够改进第一处理层的参数化形式,由于辅助参数矩阵是基于辅助模型中第二处理层的参数矩阵进行初始化的,辅助模型是基于第一样本数据预训练得到的,能够通过与第一样本数据模态不同且与第一样本数据互不相关的第二样本数据对目标模型进行训练,从而能够利用互不相关且不同模态的样本数据来对目标模型进行训练,降低样本数据的获取难度,扩充目标模型的训练样本的规模,有效地提升了目标模型的训练效果,进而提升目标模型的性能,可广泛应用于人工智能、云技术、智慧交通等技术领域。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种模型训练方法、装置、电子设备及存储介质


技术介绍

1、随着人工智能技术的发展,以深度学习为基础的模型的应用范围变得越来越广泛。众所周知,模型在部署之前需要进行训练,以提升模型的性能。在对模型进行训练时,训练样本的规模在很大程度上决定了训练后的模型的性能,然而,大规模的训练样本数据集的获取难度大,因此,如何在有限的训练样本规模下提升模型的训练效果成为一个亟待解决的问题。


技术实现思路

1、以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本申请实施例提供了一种模型训练方法、装置、电子设备及存储介质,能够有效地提升目标模型的训练效果,提升目标模型的性能。

3、一方面,本申请实施例提供了一种模型训练方法,包括:

4、构建目标模型中第一处理层的辅助参数矩阵,其中,所述辅助参数矩阵是基于辅助模型中第二处理层的参数矩阵进行初始化的,所述辅助模型是基于第一样本数据预训练得到的,所述第二处理层与所述第一处理层功能相同;...

【技术保护点】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的模型训练方法,其特征在于,所述辅助参数矩阵与所述原始参数矩阵的矩阵尺寸相同,所述基于所述第二样本数据对所述目标模型进行训练,包括:

3.根据权利要求1所述的模型训练方法,其特征在于,所述辅助参数矩阵与所述原始参数矩阵的矩阵尺寸不同,所述基于所述第二样本数据对所述目标模型进行训练,包括:

4.根据权利要求2或3所述的模型训练方法,其特征在于:

5.根据权利要求4所述的模型训练方法,其特征在于,所述辅助模型的数量为多个,不同的所述辅助模型是分别由不同模态的所述第一样本数据预训练得...

【技术特征摘要】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的模型训练方法,其特征在于,所述辅助参数矩阵与所述原始参数矩阵的矩阵尺寸相同,所述基于所述第二样本数据对所述目标模型进行训练,包括:

3.根据权利要求1所述的模型训练方法,其特征在于,所述辅助参数矩阵与所述原始参数矩阵的矩阵尺寸不同,所述基于所述第二样本数据对所述目标模型进行训练,包括:

4.根据权利要求2或3所述的模型训练方法,其特征在于:

5.根据权利要求4所述的模型训练方法,其特征在于,所述辅助模型的数量为多个,不同的所述辅助模型是分别由不同模态的所述第一样本数据预训练得到的,各个所述辅助模型的所述辅助参数矩阵分别对应有各自的所述权重系数,所述根据所述权重系数对所述辅助参数矩阵进行加权,根据所述原始参数矩阵与加权后的所述辅助参数矩阵之和,对所述第二样本数据进行映射处理,得到所述第一处理层的输出,包括:

6.根据权利要求3所述的模型训练方法,其特征在于,所述获取进行矩阵尺寸调整后的所述辅助参数矩阵,包括:

7.根据权利要求6所述的模型训练方法,其特征在于,所述结构调整包括剪枝操作,所述对所述第二处理层进行结构调整,直至所述第二处理层与所述第一处理层的结构相同,得到微调后的所述辅助模型,包括:

8.根据权利要求1所述的模型训练方法,其特征在于,所述基于所述第二样...

【专利技术属性】
技术研发人员:丁霄汉张懿元
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1