数据处理方法、电子设备和计算机程序产品技术

技术编号:37704710 阅读:44 留言:0更新日期:2023-06-01 23:52
本公开的实施例涉及一种数据处理方法、电子设备和计算机程序产品。该方法可以包括确定数据的多个特征表示,多个特征表示分别对应于数据具有的预先标注的一组标签。该方法还可以包括获取多个特征表示的第一组检测结果。该方法可以进一步包括基于第一组检测结果与一组标签,从第一组检测结果中确定一组未命中结果以作为数据中的噪声,一组未命中结果的每个未命中结果是基于损失函数值从第一组检测结果中确定的。本公开的技术方案能够自动化地确定并修改训练数据中的噪声数据的真值标签,提升了用户体验。了用户体验。了用户体验。

【技术实现步骤摘要】
数据处理方法、电子设备和计算机程序产品


[0001]本公开的实施例主要涉及计算机领域,并且更具体地,涉及数据处理方法、模型训练方法、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]受益于复杂的网络架构和大量人工标注的训练数据,模型、尤其是目标检测模型具有快速、准确的检测能力,在各种应用中表现出突出的性能。在对模型进行训练的过程中,需要多组标注准确的数据。然而,由于标签的不准确注释,被训练的模型通常会被拟合为错误的目标模型,导致模型精度降低。特别是,由于人类视觉疲劳或对象重叠等问题,在众包形式的人工标注过程中经常会发生对对象位置和/或类别的不精确标注。被错误地标注的数据通常可以被称为“噪声数据”或“噪声”。因此,需要降低数据中的噪声数据的比例。

技术实现思路

[0003]根据本公开的示例实施例,提供了一种数据处理方案。
[0004]在本公开的第一方面中,提供了一种数据处理方法。该方法可以包括确定数据的多个特征表示,多个特征表示分别对应于数据具有的预先标注的一组标签。该方法还可以包括获取多个特征表示的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,包括:确定数据的多个特征表示,所述多个特征表示分别对应于所述数据具有的预先标注的一组标签;获取所述多个特征表示的第一组检测结果;以及基于所述第一组检测结果与所述一组标签,从所述第一组检测结果中确定一组未命中结果以作为所述数据中的噪声,所述一组未命中结果的每个未命中结果是基于损失函数值从所述第一组检测结果中确定的。2.根据权利要求1所述的方法,还包括:获取所述多个特征表示的第二组检测结果,所述第二组检测结果与所述第一组检测结果是基于不同检测参数来确定的;从所述第二组检测结果中确定与所述一组未命中结果的位置信息相对应的参考检测结果;以及至少基于所述参考检测结果更新所述一组标签,作为第一组更新标签。3.根据权利要求2所述的方法,还包括:基于所述第二组检测结果与所述一组标签,从所述第二组检测结果中确定另一组未命中结果以作为所述数据中的噪声,所述另一组未命中结果的每个未命中结果是基于损失函数值从所述第二组检测结果中确定的;从所述第一组检测结果中确定与所述另一组未命中结果的位置信息相对应的附加参考检测结果;以及至少基于所述附加参考检测结果更新所述一组标签,作为第二组更新标签。4.根据权利要求1所述的方法,其中确定所述多个特征表示包括:利用特征提取网络,从所述数据中获取所述多个特征表示。5.根据权利要求3所述的方法,还包括:基于所述第一组更新标签和所述第二组更新标签中的至少一组,确定所述模型的损失函数值;以及基于所述模型的损失函数值更新所述模型的参数。6.根据权利要求5所述的方法,其中确定所述模型的损失函数值包括:基于所述数据中的部分数据以及所述数据中的另一部分数据的组合,确定所述数据的附加特征表示;获取所述附加特征表示的第一附加检测结果;以及基于所述第一附加检测结果和所述第一组更新标签,确定所述模型的损失函数值。7.根据权利要求5所述的方法,其中确定所述模型的损失函数值包括:基于所述数据中的部分数据以及所述数据中的另一部分数据的组合,确定所述数据的附加特征表示;获取所述附加特征表示的第一附加检测结果;获取所述附加特征表示的第二附加检测结果,所述第二附加检测结果与所述第一附加检测结果是基于所述模型的不同检测参数来确定的;以及基于所述第一附加检测结果、所述第二附加检测结果、以及所述第一组更新标签和所述第二组更新标签,确定所述模型的损失函数值。
8.根据权利要求5所述的方法,其中所述部分数据以及所述另一部分数据的所述组合是加权组合。9.一种电子设备,包括:至少一个处理单元,所述至少一个处理单元被配置为:确定数据的多个特征表示,所述多个特征表示分别对应于所述数据具有的预先标注的一组标签;获取所述多个特征表示的第一组检测结果;以及基于所述第一组检测结果与所述一组标签,从所述第一组检测结果中确定一组未命中结果以作为所述数据中的噪声,所述一组未命中结果的每个未命中结...

【专利技术属性】
技术研发人员:兰凯张霓
申请(专利权)人:日本电气株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1