【技术实现步骤摘要】
本专利技术涉及人工智能领域,具体涉及一种数据增强处理方法、装置、设备及存储介质。
技术介绍
1、数据增强(data augmentation)是指在模型训练过程中,通过对训练数据进行各种变换或处理,生成更多的训练样本的方法,目的在于通过增加数据的多样性,提高模型的泛化能力,从而减少模型过拟合。
2、目前,传统的数据增强方法过于依赖人为设计,即通常根据人为经验进行相关数据增强参数的设计,以及数据增强策略和数据增强幅度的选择。例如将相关参数设为固定值,或设计随机在预设范围中取值。然而,这种设计方法使得增强策略固定,缺乏多样性,且缺乏对比和验证,无法评估设计是否合理,若设计过于简单,易使模型过早拟合而失去数据增强的意义;若设计过于困难,易使模型出现过度增强而浪费训练样本。
3、此外,现有的自动数据增强方法多数是基于autoaugment方案,其使用一种搜索算法(如强化学习)进行暴力搜索,从搜索空间中找到最佳增强策略使模型在验证集上达到最高精度,以此自动发现最优的数据增强策略。该类方法依赖验证集,并需要训练多个子模型,对
...【技术保护点】
1.一种数据增强处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述数据库还包括一个或多个第四数据库,所述第四数据库包括至少一个操作对象,以及每个操作对象对应的第四更新参数,所述第四更新参数中包括:第一参数、抽样参数、抽样参数阈值和难易度阈值。
4.根据权利要求2所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,包括:
5.根
...【技术特征摘要】
1.一种数据增强处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述数据库还包括一个或多个第四数据库,所述第四数据库包括至少一个操作对象,以及每个操作对象对应的第四更新参数,所述第四更新参数中包括:第一参数、抽样参数、抽样参数阈值和难易度阈值。
4.根据权利要求2所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,包括:
5.根据权利要求3所述的方法,其特征在于,所述按照第一参数对数据库中的元素进行加权抽样,获得第一增强策略,包括:
6.根据权利要求2所述的方法,其特征在于,所述基于所述第一增强策略对第一训练数据进行增强处理,包括:
7.根据权利要求2所述的方法,其特征在于,所述根据所述第二参数更新所述第一参数和/或更新数据库中的元素,包括:
8.根据权利要求7所述的方法,其特征在于,所述难易度阈值包括第一阈值和第...
【专利技术属性】
技术研发人员:沈瑶,张世磊,高莹莹,
申请(专利权)人:中国移动通信有限公司研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。