System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 网络模型训练方法、装置、设备及存储介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>深圳大学专利>正文

网络模型训练方法、装置、设备及存储介质制造方法及图纸

技术编号:40210090 阅读:11 留言:0更新日期:2024-02-02 22:20
本发明专利技术公开了一种训练样本的构建方法、装置、设备及存储介质。该方法包括:获取至少两个样本数据组;其中,样本数据组中包括原始样本数据和所述原始样本数据对应的增强样本数据;对至少两个样本数据组进行特征增强,得到复用样本数据;将复用样本数据输入至预先设置的业务模型,得到业务模型基于复用样本数据在训练过程中生成的复用样本潜特征;对复用样本潜特征进行特征分解,得到增强潜特征;根据增强潜特征和业务模型所属业务类别,基于与业务类别对应的损失函数,对业务模型迭代更新。本发明专利技术实施例解决了模型参数稀疏问题的同时,提高了网络模型的训练效率。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种网络模型训练方法、装置、设备及存储介质


技术介绍

1、随着神经网络规模的增加,常规的网络模型在训练过程中会出现参数稀疏的现象。现有技术通常采用模型结构搜索和模型剪枝等技术解决这一问题。然而,现有技术在解决参数稀疏问题的过程中,需要消耗大量的时间,导致网络模型的训练效率较低。


技术实现思路

1、本专利技术提供了一种网络模型训练方法、装置、设备及存储介质,以解决模型参数稀疏问题的同时,提高网络模型的训练效率。

2、根据本专利技术的一方面,提供了一种网络模型训练方法,该方法包括:

3、获取至少两个样本数据组;其中,所述样本数据组中包括原始样本数据和所述原始样本数据对应的增强样本数据;

4、对所述至少两个样本数据组进行特征增强,得到复用样本数据;

5、将所述复用样本数据输入至预先设置的业务模型,得到所述业务模型基于所述复用样本数据在训练过程中生成的复用样本潜特征;

6、将所述复用样本潜特征进行特征分解,得到增强潜特征;

7、根据所述增强潜特征和所述业务模型所属业务类别,基于与所述业务类别对应的损失函数,对所述业务模型迭代更新。

8、根据本专利技术的另一方面,提供了一种网络模型训练装置,该装置包括:

9、样本数据组获取模块,用于获取至少两个样本数据组;其中,所述样本数据组中包括原始样本数据和所述原始样本数据对应的增强样本数据;

10、复用样本数据确定模块,用于对所述至少两个样本数据组进行特征增强,得到复用样本数据;

11、样本潜特征生成模型,用于将所述复用样本数据输入至预先设置的业务模型,得到所述业务模型基于所述复用样本数据在训练过程中生成的复用样本潜特征;

12、增强潜特征生成模块,用于将所述复用样本潜特征进行特征分解,得到增强潜特征;

13、迭代更新模块,用于根据所述增强潜特征和所述业务模型所属业务类别,基于与所述业务类别对应的损失函数,对所述业务模型迭代更新。

14、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:

15、至少一个处理器;以及

16、与所述至少一个处理器通信连接的存储器;其中,

17、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的网络模型训练方法。

18、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的网络模型训练方法。

19、本申请实施例通过获取至少两个样本数据组;其中,样本数据组中包括原始样本数据和原始样本数据对应的增强样本数据;对至少两个样本数据组进行特征增强,得到复用样本数据;将复用样本数据输入至预先设置的业务模型,得到业务模型基于复用样本数据在训练过程中生成的复用样本潜特征;将复用样本潜特征进行特征分解,得到增强潜特征;根据增强潜特征和业务模型所属业务类别,基于与业务类别对应的损失函数,对业务模型迭代更新。上述方案通过多路输入样本数据组得到样本数据组的复用样本数据,多路输出对模型训练得到的潜特征进行分解的方式,极大的缓解了神经网络的参数稀疏性问题,同时,减轻了样本数据不足对网络模型带来的影响。同时,对多路样本数据组进行处理,得到相应的复用样本数据输入至网络模型中,无需对网络模型进行结构上的改进,提高了模型训练的效率。

20、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种网络模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述至少两个样本数据组进行特征增强,得到复用样本数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述对至少两个样本数据组分别进行特征增强,得到各所述样本数据组对应的复用增强特征数据,包括:

4.根据权利要求2所述的方法,其特征在于,将各所述复用增强特征数据进行特征增强,得到所述复用样本数据,包括:

5.根据权利要求1所述的方法,其特征在于,所述原始样本数据对应的增强样本数据采用以下方式确定:

6.根据权利要求1-5任一项所述的方法,其特征在于,所述将所述复用样本潜特征进行特征分解,得到增强潜特征,包括:

7.根据权利要求1-5任一项所述的方法,其特征在于,若所述业务类别为分类任务,则所述业务类别对应损失函数为对比损失、分类损失和一致性损失的加和函数。

8.一种网络模型训练装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的网络模型训练方法。

...

【技术特征摘要】

1.一种网络模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述至少两个样本数据组进行特征增强,得到复用样本数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述对至少两个样本数据组分别进行特征增强,得到各所述样本数据组对应的复用增强特征数据,包括:

4.根据权利要求2所述的方法,其特征在于,将各所述复用增强特征数据进行特征增强,得到所述复用样本数据,包括:

5.根据权利要求1所述的方法,其特征在于,所述原始样本数据对应的增强样本数据采用以下方式确定:

6.根据...

【专利技术属性】
技术研发人员:陈小军赵江枫
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1