一种数据增强处理方法、装置、设备及存储介质制造方法及图纸

技术编号:43905922 阅读:22 留言:0更新日期:2025-01-03 13:15
本发明专利技术公开了一种数据增强处理方法、装置、设备及存储介质。所述方法包括:按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,所述第一参数表示抽取到元素的概率;基于所述第一增强策略对第一训练数据进行增强处理,得到第二训练数据;利用所述第二训练数据对第一模型进行训练,获得第二参数,所述第二参数表示所述第二训练数据对于模型训练的难易程度;根据所述第二参数更新所述第一参数和/或更新数据库中的元素,基于更新后的第一参数和/或更新的数据库获得第二增强策略,以根据所述第二增强策略进行数据增强处理。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,具体涉及一种数据增强处理方法、装置、设备及存储介质


技术介绍

1、数据增强(data augmentation)是指在模型训练过程中,通过对训练数据进行各种变换或处理,生成更多的训练样本的方法,目的在于通过增加数据的多样性,提高模型的泛化能力,从而减少模型过拟合。

2、目前,传统的数据增强方法过于依赖人为设计,即通常根据人为经验进行相关数据增强参数的设计,以及数据增强策略和数据增强幅度的选择。例如将相关参数设为固定值,或设计随机在预设范围中取值。然而,这种设计方法使得增强策略固定,缺乏多样性,且缺乏对比和验证,无法评估设计是否合理,若设计过于简单,易使模型过早拟合而失去数据增强的意义;若设计过于困难,易使模型出现过度增强而浪费训练样本。

3、此外,现有的自动数据增强方法多数是基于autoaugment方案,其使用一种搜索算法(如强化学习)进行暴力搜索,从搜索空间中找到最佳增强策略使模型在验证集上达到最高精度,以此自动发现最优的数据增强策略。该类方法依赖验证集,并需要训练多个子模型,对计算资源有较高要求。本文档来自技高网...

【技术保护点】

1.一种数据增强处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述数据库还包括一个或多个第四数据库,所述第四数据库包括至少一个操作对象,以及每个操作对象对应的第四更新参数,所述第四更新参数中包括:第一参数、抽样参数、抽样参数阈值和难易度阈值。

4.根据权利要求2所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,包括:

5.根据权利要求3所述的方...

【技术特征摘要】

1.一种数据增强处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述数据库还包括一个或多个第四数据库,所述第四数据库包括至少一个操作对象,以及每个操作对象对应的第四更新参数,所述第四更新参数中包括:第一参数、抽样参数、抽样参数阈值和难易度阈值。

4.根据权利要求2所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,包括:

5.根据权利要求3所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,包括:

6.根据权利要求2所述的方法,其特征在于,所述基于所述第一增强策略对第一训练数据进行增强处理,包括:

7.根据权利要求2所述的方法,其特征在于,所述根据所述第二参数更新所述第一参数和/或更新数据库中的元素,包括:

8.根据权利要求7所述的方法,其特征在于,所述难易度阈值包括第一阈值和第...

【专利技术属性】
技术研发人员:沈瑶张世磊高莹莹
申请(专利权)人:中国移动通信有限公司研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1