【技术实现步骤摘要】
一种神经网络模型的训练方法及装置
本专利技术涉及人工智能领域,具体涉及一种神经网络模型的训练方法、装置、终端设备及计算机可读介质。
技术介绍
神经网络是一种大规模、多参数优化的工具,需要依靠大量的训练数据,才能完成复杂任务。目前大量的训练数据都需要人工标注,利用标注的训练数据不断调整神经网络的参数,直至获得满足训练结束条件的神经网络模型,以便在处理复杂任务的时候获得较为满意的结果,但这种方法需要大量人工进行标注,人工成本高。为了减少大量训练数据人工标注的成本,通常采用非监督训练的方法,采用未标注的训练数据直接训练神经网络,然而采用这种方法获得的神经网络在实际应用中效果较差,不能满足实际应用的精准度。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种神经网络模型的训练方法、装置、终端设备及计算机可读介质,提高神经网络模型识别的准确性,有效解决了现有的有监督神经网络模型训练方法因需要大量人工进行标注,人工成本高的问题,以及现有的非监督神经网络模型训练方法因采用未标注的训练数据直接训练神经网络模型导致图像识 ...
【技术保护点】
1.一种神经网络模型的训练方法,其特征在于,包括:/n获取步骤,获取第一训练样本集和第二训练样本集,所述第一训练样本集为未标注的图像样本集,所述第二训练样本集为已标注的图像样本集;/n预训练步骤,采用所述第一训练样本集对神经网络模型进行预训练,获得初始神经网络模型;/n微调步骤,采用所述第二训练样本集对所述初始神经网络模型进行进一步训练,获得微调后的神经网络模型;/n判断步骤,判断所述微调后的神经网络模型是否满足训练结束条件,在满足训练结束条件的情况下,结束所述训练方法;以及在不满足所述训练结束条件的情况下,重复执行所述预训练步骤和所述微调步骤。/n
【技术特征摘要】
1.一种神经网络模型的训练方法,其特征在于,包括:
获取步骤,获取第一训练样本集和第二训练样本集,所述第一训练样本集为未标注的图像样本集,所述第二训练样本集为已标注的图像样本集;
预训练步骤,采用所述第一训练样本集对神经网络模型进行预训练,获得初始神经网络模型;
微调步骤,采用所述第二训练样本集对所述初始神经网络模型进行进一步训练,获得微调后的神经网络模型;
判断步骤,判断所述微调后的神经网络模型是否满足训练结束条件,在满足训练结束条件的情况下,结束所述训练方法;以及在不满足所述训练结束条件的情况下,重复执行所述预训练步骤和所述微调步骤。
2.根据权利要求1所述的神经网络模型的训练方法,其特征在于,在所述预训练步骤之前,所述方法还包括:
构建神经网络模型,所述神经网络模型为卷积神经网络模型,所述卷积神经网络模型包括卷积模块、自编码模块和识别模块;
其中,所述卷积模块包括N个并联的子卷积模块,所述子卷积模块包括卷积层和最大池化层,所述卷积模块用于将图像分别在N个子卷积模块中提取特征信息;所述自编码模块包括2层卷积层,用于将N个子卷积模块提取的特征信息进行融合;所述识别模块用于根据提取的特征信息识别目标图像。
3.根据权利要求2所述的神经网络模型的训练方法,其特征在于,所述预训练步骤,包括:
对所述第一训练样本集的原始特征采用稀疏特征表示;
将用稀疏特征表示后的第一训练样本集输入卷积神经网络模型进行预训练,所述预训练的过程为不断优化稀疏编码目标函数L1和目标函数最小化重构损失L2的过程,直到L1、L2最小化,获得初始神经网络模型;
其中,所述稀疏编码目标函数L1的表达式如下:
式中,xi为原始特征,B为基向量,zi是xi的稀疏表示,λ为正则参数,γ为基向量参数,ε为超参数;
所述目标函数最小化重构损失L2的表达式如下:
式中,V是本层的输入,是下一层的输入。
4.根据权利要求1所述的神经网络模型的训练方法,其特征在于,所述微调步骤,包括:
构建目标函数,所述目标函数表达式如下:
式中:W表示整个网络参数,m表示第二训练集样本大小,C表示图像类别数量,表示样本的概率向量,表示第二训练集中图像的标注;
采用第二训练样本集对所述初始神经网络模型进行进一步训练,所述进一步训练的过程为不断优化所述目标函数的过程,直到所述目标函数最小化,获得微调后的神经网络模型。
5.一种神经网络模型的训练装置,其特征在于,包括:
获取模块,用于获取第一训练样本集和第二训练样本集,所述第一训练样本集为未标注的图像样本集,所述第二训练样本集为已标注的图像样本集;
预训练模块,用于采用所述第一...
【专利技术属性】
技术研发人员:李宁,罗茜,张斯尧,王思远,蒋杰,张诚,李乾,谢喜林,黄晋,
申请(专利权)人:湖南千视通信息科技有限公司,
类型:发明
国别省市:湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。