神经网络的训练方法、训练装置和可读存储介质制造方法及图纸

技术编号:36792558 阅读:19 留言:0更新日期:2023-03-08 22:46
本发明专利技术提出了一种神经网络的训练方法、训练装置和可读存储介质,神经网络的训练方法包括:获取第一图像和第二图像;根据第一图像和第二图像对神经网络进行训练,生成第一图像对应的第一梯度和第二图像对应的第二梯度;根据第一梯度和第二梯度确定训练梯度;根据训练梯度更新神经网络的参数;其中,第一图像和第二图像的显示内容相同,且第二图像的分辨率大于第一图像的分辨率。第一图像的分辨率。第一图像的分辨率。

【技术实现步骤摘要】
神经网络的训练方法、训练装置和可读存储介质


[0001]本申请涉及机器人
,具体而言,涉及一种神经网络的训练方法、训练装置和可读存储介质。

技术介绍

[0002]相关技术中,用于图像预测的神经网络在运行过程中,当输入的图像的分辨率较小时,神经网络的预测准确率较差,无法满足用户需求。因此,如何提升神经网络在输入较小分辨率的图像时的预测准确率,成为了亟待解决的技术问题。

技术实现思路

[0003]本申请旨在至少解决现有技术或相关技术中存在的技术问题之一。
[0004]为此,本申请的第一方面提出了一种神经网络的训练方法。
[0005]本申请的第二方面提出了一种神经网络的训练装置。
[0006]本申请的第三方面提出了一种神经网络的训练装置。
[0007]本申请的第四方面提出了一种可读存储介质。
[0008]本申请的第五方面提出了一种电子设备。
[0009]本申请的第六方面提出了一种计算机程序产品。
[0010]有鉴于此,本申请的第一方面,提出了一种神经网络的训练方法,包括:获取第一图像和第二图像;根据第一图像和第二图像对神经网络进行训练,生成第一图像对应的第一梯度和第二图像对应的第二梯度;根据第一梯度和第二梯度确定训练梯度;根据训练梯度更新神经网络的参数;其中,第一图像和第二图像的显示内容相同,且第二图像的分辨率大于第一图像的分辨率。
[0011]本申请提供的神经网络的训练方法,其中,该神经网络可以用于图像的预测。具体的,首先,获取第一图像和第二图像。可以理解的是,第一图像和第二图像即为对神经网络进行训练所需要的训练样本。也即通过训练样本对神经网络进行训练,以提高训练后的神经网络对于图像的预测准确率,达到神经网络的训练目的。
[0012]具体的,第一图像和第二图像所显示的内容相同,但是,第一图像的分辨率小于第二图像的分辨率。也就是说,在对神经网络进行训练时,对于同一个图像内容的训练样本,提供了两种不同分辨率的第一图像和第二图像,从而可以在训练过程中,神经网络既能够观察到大分辨率的图像的特征,又能够观察到小分辨率的图像特征。
[0013]进一步地,分别将第一图像和第二图像输入神经网络中进行训练,在每轮训练之后,生成第一图像对应的第一梯度和第二图像对应的第二梯度。具体的,在将第一图像和第二图像输入神经网络之后,经过神经网络的预测,生成第一图像对应的第一预测数据,以及第二图像的第二预测数据,然后将第一预测数据和第二预测数据分别与第一图像和第二图像的原始数据进行对比,进而分别生成第一图像对应的第一梯度和第二图像对应的第二梯度。也就是,第一梯度和第二梯度分别反映了神经网络对于第一图像的预测数据与第一图
像的原始数据之间的差异,以及神经网络对于第二图像的预测数据与第二图像的原始数据之间的差异。
[0014]进一步地,在得到了第一图像对应的第一梯度以及第二图像对应的第二梯度之后,可以根据第一梯度和第二梯度获取神经网络训练过程中的整体的训练梯度,也就是将第一梯度和第二梯度相结合,确定整体的训练梯度,从而使得神经网络在根据整体的训练梯度进行参数更新时,能够同时观察到大分辨率图像的特征以及小分辨率图像的特征,进而使得神经网络能够将同一个图像内容的大分辨率特征和相应的小分辨率特征相关联,然后进行参数的更新,这样,在神经网络训练完成之后,在当输入小分辨率的图像时,神经网络能够根据输入的小分辨率的图像的特征,确定该图像内容相应的大分辨率图像的特征,在大分辨率的图像特征下,图像的预测准确率会得到提升。也就是提高了神经网络对于小分辨率图像数据的预测性能。
[0015]在相关技术中,在针对用于图像预测的神经网络进行训练时,如果使用较大分辨率的图像进行训练,则需要消耗较大的计算资源、计算机内存以及大量的时间,实现起来相对困难。而如果使用较小分辨率的图像进行训练,由于在训练时所输入的图像的分辨率较小,因此,即使经过训练之后,神经网络只能根据小分辨率的图像特征进行预测,仅仅是小分辨率的图像特征,对于图像的预测的准确率的提升仍然十分有限。从而使得神经网络在针对小分辨率的图像输入时的预测性能较差,无法保证准确率。
[0016]本申请提供的神经网络的训练方法,在获取样本数据时,针对同一个图像内容的样本,同时获取一个分辨率较小的第一图像以及一个分辨率较大的第二图像,进而将第一图像和第二图像同时输入到神经网络中进行训练,以得到小分辨率的第一图像对应的第一梯度,以及大分辨率的第二图像对应的第二梯度,进而根据第一梯度和第二梯度确定训练的整体训练梯度,然后根据整体的训练梯度进行神经网络的参数的更新。由于训练梯度是第一梯度和第二梯度的结合,因此神经网络在根据整体的训练梯度进行参数更新时,能够同时观察到大分辨率图像的特征以及小分辨率图像的特征,进而使得神经网络能够将同一个图像内容的大分辨率特征和相应的小分辨率特征相关联,然后进行参数的更新,这样,神经网络能够根据输入的小分辨率的图像的特征,确定该图像内容相应的大分辨率图像的特征,提高了神经网络对于小分辨率图像数据的预测性能。
[0017]本申请的第二方面,提出了一种神经网络的训练装置,包括:获取单元,用于获取第一图像和第二图像;训练单元,用于根据第一图像和第二图像对神经网络进行训练,生成第一图像对应的第一梯度和第二图像对应的第二梯度;确定单元,用于根据第一梯度和第二梯度确定训练梯度;更新单元,用于根据训练梯度更新神经网络的参数;其中,第一图像和第二图像的显示内容相同,且第二图像的分辨率大于第一图像的分辨率。
[0018]本申请的第三方面,提出了一种神经网络的训练装置,包括:处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如下步骤:获取第一图像和第二图像;根据第一图像和第二图像对神经网络进行训练,生成第一图像对应的第一梯度和第二图像对应的第二梯度;根据第一梯度和第二梯度确定训练梯度;根据训练梯度更新神经网络的参数;其中,第一图像和第二图像的显示内容相同,且第二图像的分辨率大于第一图像的分辨率。
[0019]本申请的第四方面,提出了一种读存储介质,可读存储介质上存储程序或指令,程
序或指令被处理器执行时实现如下步骤:获取第一图像和第二图像;根据第一图像和第二图像对神经网络进行训练,生成第一图像对应的第一梯度和第二图像对应的第二梯度;根据第一梯度和第二梯度确定训练梯度;根据训练梯度更新神经网络的参数;其中,第一图像和第二图像的显示内容相同,且第二图像的分辨率大于第一图像的分辨率。
[0020]本申请的第五方面,提出了一种电子设备,包括处理器和存储器,存储器存储可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如下步骤:获取第一图像和第二图像;根据第一图像和第二图像对神经网络进行训练,生成第一图像对应的第一梯度和第二图像对应的第二梯度;根据第一梯度和第二梯度确定训练梯度;根据训练梯度更新神经网络的参数;其中,第一图像和第二图像的显示内容相同,且第二图像的分辨本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种神经网络的训练方法,其特征在于,包括:获取第一图像和第二图像;根据所述第一图像和所述第二图像对所述神经网络进行训练,生成所述第一图像对应的第一梯度和所述第二图像对应的第二梯度;根据所述第一梯度和所述第二梯度确定训练梯度;根据所述训练梯度更新所述神经网络的参数;其中,所述第一图像和所述第二图像的显示内容相同,且所述第二图像的分辨率大于所述第一图像的分辨率。2.根据权利要求1所述的训练方法,其特征在于,所述根据所述第一梯度和所述第二梯度确定训练梯度的步骤包括:根据所述第一梯度和所述第二梯度,确定梯度差值;在所述梯度差值大于或等于0的情况下,将所述第一梯度和所述第二梯度相加,生成所述训练梯度。3.根据权利要求2所述的训练方法,其特征在于,所述根据所述第一梯度和所述第二梯度确定训练梯度的步骤还包括:在所述梯度差值小于0的情况下,根据预设公式:g=g1+g2–
(g
2T
×
g1×
g1)/‖g2‖2,确定所述训练梯度;其中,g为所述训练梯度,g1为所述第一梯度,g2为所述第二梯度,g
2T
为所述第二梯度的矩阵转置。4.根据权利要求2所述的训练方法,其特征在于,所述根据所述第一梯度和所述第二梯度,确定梯度差值的步骤,包括:根据第二预设公式:Cos(φ)=(g2×
g1)/||g2||||g1||,确定所述梯度差值;其中,Cos(φ)为所述梯度差值,g1为所述第一梯度,g2为所述第二梯度。5.根据权利要求1至4中任一项所述的训练方法,其特征在于,所述神经网络为卷积神经网络,所述训练方法还包括:在所述神经网络的参数的...

【专利技术属性】
技术研发人员:祝毅晨
申请(专利权)人:美的集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1