一种数据修正方法、装置及电子设备制造方法及图纸

技术编号:36911301 阅读:13 留言:0更新日期:2023-03-18 09:29
本申请实施例提供一种数据修正方法、装置及电子设备。在本实施例中,通过在将标注数据作为训练数据训练神经网络模型的过程中,确定标注数据中需要进行复核的待复核的标注数据集,以便于对待复核的标注数据集中各标注数据的标注标签进行复核修正,提高训练数据的标注质量,进而提高模型训练的性能,将该方法应用在检测场景时,则提高训练出的深度学习模型进行检测时的检测准确度,将该方法应用在分类场景时,则提高训练出的深度学习模型进行分类时的分类准确度,进一步地,在将标注数据作为训练数据训练神经网络模型的过程中,确定标注数据中需要进行复核的待复核的标注数据集,实现了自动找出标注错误的标注数据,提高标注数据的修正效率。的修正效率。的修正效率。

【技术实现步骤摘要】
一种数据修正方法、装置及电子设备


[0001]本申请涉及人工智能
,尤其涉及一种数据修正方法、装置及电子设备。

技术介绍

[0002]深度学习模型(例如,检测模型、分类模型等)的性能依赖于训练数据集的规模以及其标注质量,训练数据集越大且标注质量越高,深度学习模型的性能通常也就越好。目前,常用的标注方法是人工对训练数据集中的训练数据进行标注,但是由于标注人员的经验不足、粗心等,可能会导致出现标注错误,训练数据集的标注质量低,导致利用该训练数据集训练得到的深度学习模型性能差。比如在检测场景时,则训练出的深度学习模型进行检测时,就会出现检测误差;再比如在分类场景时,训练出的深度学习模型进行分类时,就会出现分类误差。

技术实现思路

[0003]有鉴于此,本申请实施例提供一种数据修正方法、装置及电子设备,以对已标注的训练数据进行修正,提高模型训练的性能。
[0004]根据本申请实施例的第一方面,提供一种数据修正方法,所述方法应用于电子设备,所述方法包括:
[0005]在将标注数据作为训练数据训练神经网络模型的过程中,利用每次迭代训练出的神经网络模型预测所述标注数据属于被指定的标注标签的概率分布,得到所述标注数据的预测结果;
[0006]依据各标注数据的预测结果,确定待复核的标注数据集,以对所述待复核的标注数据集中各标注数据的标注标签进行复核修正。
[0007]根据本申请实施例的第二方面,提供一种数据修正装置,所述装置应用于电子设备,所述装置包括:
[0008]预测结果确定模块,用于在将标注数据作为训练数据训练神经网络模型的过程中,利用每次迭代训练出的神经网络模型预测所述标注数据属于被指定的标注标签的概率分布,得到所述标注数据的预测结果;
[0009]数据修正模块,用于依据各标注数据的预测结果,确定待复核的标注数据集,以对所述待复核的标注数据集中各标注数据的标注标签进行复核修正。
[0010]根据本申请实施例的第三方面,提供一种电子设备,电子设备包括:处理器和存储器;
[0011]其中,所述存储器,用于存储机器可执行指令;
[0012]所述处理器,用于读取并执行所述存储器存储的机器可执行指令,以实现如第一方面所述的方法。
[0013]本申请实施例提供的技术方案可以包括以下有益效果:
[0014]本申请实施例中,通过在将标注数据作为训练数据训练神经网络模型的过程中,
确定标注数据中需要进行复核的待复核的标注数据集,以便于对待复核的标注数据集中各标注数据的标注标签进行复核修正,提高训练数据的标注质量,进而提高模型训练的性能,将该方法应用在检测场景时,则提高训练出的深度学习模型进行检测时的检测准确度,将该方法应用在分类场景时,则提高训练出的深度学习模型进行分类时的分类准确度;
[0015]进一步地,在将标注数据作为训练数据训练神经网络模型的过程中,确定标注数据中需要进行复核的待复核的标注数据集,实现了自动找出标注错误的标注数据,提高标注数据的修正效率。
附图说明
[0016]图1是本申请实施例提供的方法的流程图。
[0017]图2是本申请实施例提供的标注数据的预测结果确定方法的流程图。
[0018]图3是本申请实施例提供的待复核的标注数据集确定方法的流程图。
[0019]图4是本申请实施例提供的多轮标注数据修正方法的流程图。
[0020]图5是本申请实施例提供的装置框图。
[0021]图6是本申请实施例提供的电子设备结构图。
具体实施方式
[0022]这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0023]在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0024]应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0025]为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0026]参见图1,图1为本申请实施例提供的方法流程图。该方法应用于电子设备,作为一个实施例,这里的电子设备比如为终端、服务器等,本实施例并不具体限定。
[0027]如图1所示,该流程可包括以下步骤:
[0028]S110:在将标注数据作为训练数据训练神经网络模型的过程中,利用每次迭代训练出的神经网络模型预测标注数据属于被指定的标注标签的概率分布,得到标注数据的预测结果。
[0029]示例性地,在本实施例中,标注数据的数量为多个,例如,100个,本申请实施例并不具体限定。
[0030]示例性地,在本实施例中,上述神经网络模型可以为分类模型、检测模型等,本申请实施例并不具体限定。
[0031]示例性地,在本实施例中,被指定的标注标签可以为标注数据中包含的所有标注标签,例如,当神经网络模型为分类模型时,属性标签可以为标注数据包含的所有分类标注标签,当神经网络模型为检测模型时,属性标签可以包括:是和否。
[0032]在本实施例中,预测结果指的是每次迭代训练出的神经网络模型预测标注数据属于被指定的标注标签的概率分布的总和。
[0033]在本实施例中,一次迭代指的是利用所有的标注数据迭代训练一次神经网络模型,基于此,本步骤S110中,在将标注数据作为训练数据训练神经网络模型的过程中,利用每次迭代训练出的神经网络模型预测标注数据属于被指定的标注标签的概率分布,得到标注数据的预测结果。
[0034]S120:依据各标注数据的预测结果,确定待复核的标注数据集,以对待复核的标注数据集中各标注数据的标注标签进行复核修正。
[0035]示例性地,在本实施例中,待复核的标注数据集中的各标注数据的标注标签需要进行复核修正。
[0036]在本实施例中,依据各标注数据的预测结果,确定待复核的标注数据集有很多方式,本申请实施例并不具体限定。
[0037]作为本申请实施例一个可选实施方式,上述本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据修正方法,其特征在于,所述方法应用于电子设备,所述方法包括:在将标注数据作为训练数据训练神经网络模型的过程中,利用每次迭代训练出的神经网络模型预测所述标注数据属于被指定的标注标签的概率分布,得到所述标注数据的预测结果;依据各标注数据的预测结果,确定待复核的标注数据集,以对所述待复核的标注数据集中各标注数据的标注标签进行复核修正。2.根据权利要求1所述的方法,其特征在于,所述利用每次迭代训练出的神经网络模型预测所述标注数据属于被指定的标注标签的概率分布,得到所述标注数据的预测结果,包括:以当前神经网络模型为基础,并将所述标注数据作为训练数据进行模型训练,得到训练出的神经网络模型;利用训练出的神经网络模型预测所述标注数据属于被指定的标注标签的概率分布,得到所述标注数据的预测结果;当所述训练出的神经网络模型不满足预设迭代条件时,返回以当前神经网络模型为基础,并将所述标注数据作为训练数据进行模型训练得到训练出的神经网络模型的步骤。3.根据权利要求1所述的方法,其特征在于,所述依据各标注数据的预测结果,确定待复核的标注数据集,包括:针对每一标注数据,对已得到的该标注数据的预测结果进行融合,得到预测融合值;基于各标注数据的预测融合值,确定待复核的标注数据集。4.根据权利要求3所述的方法,其特征在于,所述对已得到的该标注数据的预测结果进行融合,得到预测融合值,包括:按照以下公式对已得到的该标注数据的预测结果进行融合:其中,s表示该标注数据的预测融合值,E为迭代次数;表示预测结果中第e次迭代时对应的预测概率;所述预测概率是指第e次迭代训练出的神经网络模型预测出的标注数据属于被指定的标注标签的概率分布中为该标注数据被标注的标注标签的概率。5.根据权利要求1至4任一项所述的方法,其特征在于,所述神经网络模型在训练时,采用如下损失函数:其中,表示损失函数;p为神经网络模型每次预测出的标注数据属于被指定的标注标签的概率分布,y
gt

【专利技术属性】
技术研发人员:陈明健
申请(专利权)人:上海高德威智能交通系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1