一种数据处理方法、装置及设备制造方法及图纸

本申请提供一种数据处理方法、装置及设备，该方法包括：获取无标签数据集，无标签数据集包括多个无标签数据，无标签数据对应多个伪标签；针对每个基础模型，从无标签数据集中选取基础模型对应的目标无标签数据；针对无标签数据集中每个无标签数据，基于该无标签数据对应的多个伪标签，确定该无标签数据针对基础模型的第一不确定度、该无标签数据针对基础模型之外的剩余基础模型的第二不确定度；基于第一不确定度和第二不确定度确定该无标签数据是基础模型对应的目标无标签数据或不是基础模型对应的目标无标签数据；基于基础模型对应的目标无标签数据对基础模型进行训练，得到目标模型。通过本申请的技术方案，能够节约人力资源，减少标定时间。减少标定时间。减少标定时间。

【技术实现步骤摘要】
一种数据处理方法、装置及设备


[0001]本申请涉及人工智能
，尤其涉及一种数据处理方法、装置及设备。

技术介绍

[0002]机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音识别和手写识别等。
[0003]为了采用机器学习实现人工智能处理，可以构建训练数据集，该训练数据集包括大量有标签数据(如图像数据，即具有标定框和标定类别的图像)，基于训练数据集训练出机器学习模型，如具有目标检测功能的机器学习模型，可以采用机器学习模型对待检测数据进行目标检测，比如说，检测待检测数据中的目标框，并识别出目标类别，如车辆类别、动物类别、电子产品类别等。...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取无标签数据集，所述无标签数据集包括多个无标签数据；针对每个无标签数据，该无标签数据对应多个伪标签，所述多个伪标签是将该无标签数据输入给多个基础模型后，由所述多个基础模型输出的伪标签；针对每个基础模型，从所述无标签数据集中选取所述基础模型对应的目标无标签数据；其中，针对无标签数据集中每个无标签数据，基于该无标签数据对应的多个伪标签，确定该无标签数据针对所述基础模型的第一不确定度、该无标签数据针对所述基础模型之外的剩余基础模型的第二不确定度；基于所述第一不确定度和所述第二不确定度确定该无标签数据是所述基础模型对应的目标无标签数据，或不是所述基础模型对应的目标无标签数据；基于所述基础模型对应的目标无标签数据对所述基础模型进行训练，得到已训练的目标模型；其中，所述目标模型用于对应用数据进行数据处理。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对所述无标签数据集中每个无标签数据，对该无标签数据进行A次数据增广，得到A个数据增广后的无标签数据，所述A为正整数；针对每个数据增广后的无标签数据，将该数据增广后的无标签数据输入给多个基础模型，由所述多个基础模型输出与该无标签数据对应的伪标签。3.根据权利要求1所述的方法，其特征在于，所述基于该无标签数据对应的多个伪标签，确定该无标签数据针对所述基础模型的第一不确定度、该无标签数据针对所述基础模型之外的剩余基础模型的第二不确定度，包括：将该无标签数据对应的多个伪标签划分到第一伪标签集合和第二伪标签集合；其中，第一伪标签集合中的伪标签是由所述基础模型输出的伪标签，第二伪标签集合中的伪标签是由所述基础模型之外的剩余基础模型输出的伪标签；基于所述第一伪标签集合中各伪标签对应的置信度确定所述第一不确定度；基于所述第二伪标签集合中各伪标签对应的置信度确定所述第二不确定度。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一伪标签集合中各伪标签对应的置信度确定所述第一不确定度，包括：基于所述第一伪标签集合中各伪标签对应的置信度确定第一平均值的熵，基于所述第一伪标签集合中各伪标签对应的置信度确定第一熵的平均值；基于所述第一平均值的熵和所述第一熵的平均值确定所述第一不确定度；所述基于所述第二伪标签集合中各伪标签对应的置信度确定所述第二不确定度包括：基于所述第二伪标签集合中各伪标签对应的置信度确定第二平均值的熵，基于所述第二伪标签集合中各伪标签对应的置信度确定第二熵的平均值；基于所述第二平均值的熵和所述第二熵的平均值确定所述第二不确定度。5.根据权利要求1或3所述的方法，其特征在于，所述基于所述第一不确定度和所述第二不确定度确定该无标签数据是所述基础模型对应的目标无标签数据，或不是所述基础模型对应的目标无标签数据，包括：基于所述第一不确定度和所述第二不确定度之间的差值，确定该无标签数据针对所述基础模型和所述剩余基础模型的不确定度差；
若所述不确定度差大于第一阈值，则确定该无标签数据是所述基础模型对应的目标无标签数据；或者，若所述不确定度差不大于所述第一阈值，则确定该无标签数据不是所述基础模型对应的目标无标签数据。6.根据权利要求3所述的方法，其特征在于，所述基于所述第一不确定度和所述第二不确定度确定该无标签数据是所述基础模型对应的目标无标签数据，或不是所述基础模型对应的目标无标签数据，包括：基于所述第一不确定度和所述第二不确定度之间的差值，确定该无标签数据针对所述基础模型和所述剩余基础模型的不确定度差；基于所述第二伪标签集合中各伪标签对应的置信度确定平均置信度；若所述不确定度差大于第一阈值，且所述平均置信度大于第二阈值，则确定该无标签数据是所述基础模型对应的目标无标签数据；若所述不确定度差不大于第一阈值，和/或所述平均置信度不大于第二阈值，则确定该无标签数据不是所述基础模型对应的目标无标签数据。7.根据权利要求1所述的方法，其特征在于，所述基于所述基础模型对应的目标无标签数据对所述基础模型进行训练，得到已训练的目标模型，包括：基于所述基础模型对应的目标无标签数据对应的多个伪标签，生成所述目标无标签数据对应的目标伪标签；基于所述目标无标签数据和所述目标伪标签对所述基础模型进行训练，得到已训练的所述目标模型。8.一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取无标签数据集，所述无标签数据集包括...

【专利技术属性】
技术研发人员：刘珂瑞，唐三立，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：