数据预处理方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:43565383 阅读:23 留言:0更新日期:2024-12-06 17:36
本申请涉及神经网络领域,提供一种数据预处理方法、装置、计算机设备及存储介质,该方法包括:获取待处理数据,并对待处理数据进行划分,得到多个目标批次的待处理子数据;针对各个目标批次的待处理子数据分别计算数据均值和数据方差;基于预设的标准化参数,根据数据均值和数据方差,对目标批次的待处理子数据进行标准化处理,得到待处理数据对应的目标数据;将目标数据输入预设的处理函数,以使所述处理函数根据所述待处理数据对相应的神经元进行激发处理。通过对每个批次的数据进行标准化处理,使得训练过程中的中间层输出的分布保持相对稳定,从而加速收敛速度,减少对初始化参数的敏感性,并允许使用更高的学习率,提高神经网络的训练效率。

【技术实现步骤摘要】

本申请涉及神经网络领域,尤其涉及一种数据预处理方法、装置、计算机设备及存储介质


技术介绍

1、在神经网络的训练过程中,需要预先设置权重初始值,并且权重初始值的设置非常重要。若权重初始值设置不合理,可能导致梯度消失或梯度爆炸,即使得激活函数的导数非常小或非常大,这会导致在反向传播过程中梯度迅速减小(梯度消失)或增大(梯度爆炸),从而使得网络难以学习;不合理的权重初始值还可能导致训练过程中的损失函数值波动很大,难以收敛到一个稳定的最小值。因此,为了提高神经网络得训练效率,亟需一种能够减小神经网络对权重初始值敏感度的数据预处理方法。


技术实现思路

1、本申请的主要目的在于提供一种数据预处理方法、装置、设备及计算机存储介质,旨在提高神经网络训练的效率。

2、第一方面,本申请提供一种数据预处理方法,所述数据预处理方法包括以下步骤:

3、获取待处理数据,并对所述待处理数据进行划分,得到多个目标批次的待处理子数据;

4、针对各个目标批次的待处理子数据分别计算数据均值和数据方差;

本文档来自技高网...

【技术保护点】

1.一种数据预处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据预处理方法,其特征在于,所述获取待处理数据,并对所述待处理数据进行划分,得到多个目标批次的待处理子数据,包括:

3.根据权利要求1所述的数据预处理方法,其特征在于,所述基于预设的标准化参数,根据所述数据均值和所述数据方差,对所述目标批次的待处理子数据进行标准化处理,得到所述待处理数据对应的目标数据,包括:

4.根据权利要求3所述的数据预处理方法,其特征在于,所述根据所述目标差值与所述数据方差的比值确定标准化值,包括:

5.根据权利要求3所述的数据预处理方法,其特...

【技术特征摘要】

1.一种数据预处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据预处理方法,其特征在于,所述获取待处理数据,并对所述待处理数据进行划分,得到多个目标批次的待处理子数据,包括:

3.根据权利要求1所述的数据预处理方法,其特征在于,所述基于预设的标准化参数,根据所述数据均值和所述数据方差,对所述目标批次的待处理子数据进行标准化处理,得到所述待处理数据对应的目标数据,包括:

4.根据权利要求3所述的数据预处理方法,其特征在于,所述根据所述目标差值与所述数据方差的比值确定标准化值,包括:

5.根据权利要求3所述的数据预处理方法,其特征在于,所述根据所述标准化值及预设的缩放参数和偏移参数,确定所述待处理子数据对应的目标数据,包括:

6.根据权利要求5...

【专利技术属性】
技术研发人员:刘羲董孟帆舒畅陈又新
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1