一种神经网络模型的训练方法、装置、存储介质及设备制造方法及图纸

技术编号:26260178 阅读:65 留言:0更新日期:2020-11-06 17:55
本发明专利技术适用于模型训练技术领域,提供了一种神经网络模型的训练方法、装置及系统,所述方法包括:获取原始数据集,并根据所述原始数据集训练原始神经网络模型;从所述原始神经网络模型中识别出噪声标签;对所述噪声标签进行修改,并根据修改后的数据集训练新神经网络模型。本发明专利技术通过先以原始数据集训练出原始神经网络模型,并在原始神经网络模型中识别出噪声标签,从而确定原始数据集中的错误标签,在对错误标签纠正之后,最终根据修改后的数据集训练新神经网络模型,由于直接从网络模型中确定出错误标签并对其进行纠正,准确性高,同样具备了很好的可解释性,使得最终训练得到的新神经网络模型具有较好的抗干扰效果。

【技术实现步骤摘要】
一种神经网络模型的训练方法、装置、存储介质及设备
本专利技术属于模型训练
,尤其涉及一种神经网络模型的训练方法、装置、存储介质及设备。
技术介绍
深度学习技术已经在图像处理领域中取得了巨大的成功,它们的成功都离不开神经网络模型的训练。在训练神经网络模型的过程中,数据及对应的标签(金标准)是除网络模型之外的最关键因素。如果数据的标签中存在一些噪声,即错误的标签,则会对网络的训练造成极大的负面影响,进而导致神经网络模型的表现变差,即模型在标签被噪声污染时易受干扰。因此,在标签中存在噪声的情况下如何保证网络模型的性能,使得模型的训练具备一定抗干扰能力,是一个非常值得研究的技术。现有技术当中,目前大多通过自监督的方式找出有噪声的标签,并在训练模型计算的损失函数的时候,降低它们的权重,来达到抗干扰的效果,但这种方式存在不精确、缺乏解释性等缺点,最终对模型的抗干扰效果提升有限。
技术实现思路
本专利技术实施例提供一种神经网络模型的训练方法、装置、存储介质及设备,旨在解决现有对噪声标签的处理方式不精确、导致对本文档来自技高网...

【技术保护点】
1.一种神经网络模型的训练方法,其特征在于,所述方法包括:/n获取原始数据集,并根据所述原始数据集训练原始神经网络模型;/n从所述原始神经网络模型中识别出噪声标签;/n对所述噪声标签进行修改,并根据修改后的数据集训练新神经网络模型。/n

【技术特征摘要】
1.一种神经网络模型的训练方法,其特征在于,所述方法包括:
获取原始数据集,并根据所述原始数据集训练原始神经网络模型;
从所述原始神经网络模型中识别出噪声标签;
对所述噪声标签进行修改,并根据修改后的数据集训练新神经网络模型。


2.如权利要求1所述的神经网络模型的训练方法,其特征在于,所述从所述原始神经网络模型中识别出噪声标签的步骤包括。
利用置信度学习技术从所述原始神经网络模型中识别出噪声标签。


3.如权利要求2所述的神经网络模型的训练方法,其特征在于,所述利用置信度学习技术从所述原始神经网络模型中识别出噪声标签的步骤包括:
计算所述原始神经网络模型对于每个类别的预测概率;
基于所述预测概率参数计算出噪声标签与真实标签的混淆矩阵;
将所述混淆矩阵正则化,得到噪声标签与真实标签的联合分布;
基于所述混淆矩阵和/或所述联合分布,计算出所述噪声标签。


4.如权利要求3所述的神经网络模型的训练方法,其特征在于,基于所述混淆矩阵和所述联合分布,计算出所述噪声标签的步骤包括:
基于所述混淆矩阵和所述联合分布的交集或并集,计算出所述噪声标签。


5.如权利要求3或4任一项所述的神经网络模型的训练方法,其特征在于,所述预测概率包括平均预测概率和预测概率的中位数。


6.如权利要求1所述的神经网络模型的训练方法,其特征在于,根据修改后的数据集...

【专利技术属性】
技术研发人员:李镇张敏清
申请(专利权)人:香港中文大学深圳
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1