数据清洗方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种数据清洗方法、装置、存储介质及电子设备，该数据清洗方法通过依次将每个该数据集作为测试集，并由除当前测试集之外的数据集中的样本数据组成训练集，将该训练集和该测试集进行组合得到测试训练集组；针对每个该测试训练集组，通过该测试训练集组中的训练集对预设算法模型进行训练，得到该测试训练集组对应的分类预测模型，能够有效保证分类预测模型的性能，提升分类预测模型输出分类预测结果的准确性；并通过根据每个样本数据的该分类预测结果和该分类标签，对该多个样本数据进行数据清洗，能够有效提升标注错误的样本数据的识别准确率，从而能够有效减少需要重新进行人工审核标注的数据量，降低人工审核成本。降低人工审核成本。降低人工审核成本。

【技术实现步骤摘要】
数据清洗方法、装置、存储介质及电子设备


[0001]本公开涉及数据处理领域，具体地，涉及一种数据清洗方法、装置、存储介质及电子设备。

技术介绍

[0002]一般利用深度学习训练模型时，需要大量的带有标签的数据样本，而这些数据样本中的数据标签往往会存在一定的标注错误。这些标注错误会导致模型训练失败，或者在利用训练得到的模型进行分类预测时，造成预测结果错误率较高的问题。
[0003]为了提升模型的性能，保证模型预测结果的准确性，需要对数据样本的标注质量进行把控，通常可以通过对标注数据进行数据清洗，将标注错误的数据挑出，重新进行人工审核标注，从而保证数据样本的标注质量。
[0004]但是，目前的数据清洗方法会导致对标注错误的误识别率较高，导致被识别为标注错误数据的数据量较多。

技术实现思路

[0005]为克服相关技术中存在的问题，本公开提供一种数据清洗方法、装置、存储介质及电子设备。
[0006]根据本公开实施例的第一方面，提供一种数据清洗方法，所述方法包括：
[0007]获取待清洗的多个样本数据和每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据清洗方法，其特征在于，所述方法包括：获取待清洗的多个样本数据和每个所述样本数据被标注的分类标签；将所述多个样本数据等分为至少三个数据集；依次将每个所述数据集作为测试集，并由除当前测试集之外的数据集中的样本数据组成训练集，将所述训练集和所述测试集进行组合得到测试训练集组，其中，不同的测试训练集组包括不同的测试集和该测试集对应的训练集；针对每个所述测试训练集组，通过该测试训练集组中的训练集对预设算法模型进行训练，得到该测试训练集组对应的分类预测模型，并依次将所述测试集中的每个所述样本数据作为所述分类预测模型的输入，输出得到该样本数据对应的分类预测结果；根据每个样本数据的所述分类预测结果和所述分类标签，对所述多个样本数据进行数据清洗；将清洗后的数据作为目标分类模型的训练样本数据。2.根据权利要求1所述的方法，其特征在于，所述分类预测结果包括至少一个分类预测标签和每个所述分类预测标签对应的预测概率，相应地，所述根据每个样本数据的所述分类预测结果和所述分类标签，对所述多个样本数据进行数据清洗包括：将至少一个所述分类预测标签中，预测概率最大的分类预测标签作为目标预测标签；在根据所述目标预测标签确定所述样本数据的分类标签标注错误的情况下，根据标注错误的样本数据清洗所述多个样本数据。3.根据权利要求2所述的方法，其特征在于，通过以下方式确定所述样本数据的分类标签标注错误：在所述目标预测标签与标注的所述分类标签不同的情况下，确定所述样本数据的分类标签标注错误。4.根据权利要求3所述的方法，其特征在于，所述确定所述样本数据的分类标签标注错误包括：在所述目标预测标签对应的预测概率大于或者等于预设概率阈值的情况下，确定所述待清洗样本数据的分类标签标注错误。5.根据权利要求1至4任一项所述的方法，其特征在于，所述待清洗的样本数据的数量与所述数据集的数量的差值大于或者等于预设差值阈值。6.一种数据清洗装置，其特征在于，所述装置包括：获取模块，被配置为获取待清洗的多个样本数据和每个所述样本数据被标注的分类标签；划分模块，被配置为将所述多个样本数据划分为至少三个数据集；生成模...

【专利技术属性】
技术研发人员：储兵兵，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：