一种数据处理方法及系统技术方案

本申请实施例提供一种数据处理方法及系统，涉及数据处理技术领域。该方法包括：获取第一指令，该第一指令可以用于指示质检任务，该质检任务关联待质检数据；获取待质检数据关联的第一属性，并基于第一属性在待质检数据中确定第一数据；确定第一数据的质检结果。通过上述方法，用户可以选择质检任务，进而数据处理系统可以获取该质检任务所关联的待质检数据对应的特定类别和/或子类别(即第一属性)，并对这些特定类别和/或子类别对应的第一数据，进行批量质检。如此，可以有效满足用户多样化的质检需求，且有效提升数据的质检效率。且有效提升数据的质检效率。且有效提升数据的质检效率。

【技术实现步骤摘要】
一种数据处理方法及系统


[0001]本申请实施例涉及数据处理
，尤其涉及一种数据处理方法及系统。

技术介绍

[0002]机器学习已经渗透到自动驾驶、智慧医疗与智慧城市等领域。这些领域中，与机器学习相关的算法模型需要对大量已标注的样本数据集进行训练才能得到，算法模型的性能受限于样本数据集的准确率。为提升样本数据集的准确率，优化算法模型的性能，通常对样本数据集的标注情况进行质检。然而，样本数据集中的数据标注类别复杂、数据量大，需要人工一一进行质检，导致质检效率较低。
[0003]为了提升数据的质检效率，一些技术方案中，人工对待质检数据中的部分数据进行抽查，根据这部分数据的标注情况，预测待质检数据整体的标注情况。这种方案虽然可以减少工作量，但在数据为图片时，若同一图片中标注数据体的类别较多，需要人工辨别多种类别的标注数据体的差异，仍然存在质检效率低下的问题。
[0004]另一些技术方案中，预先准备一批标注准确的样本数据，通过将待质检数据和预先准备的数据进行比对，实现对待质检数据的自动质检。但不同待质检数据中的标注数据的种类和数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取第一指令，所述第一指令用于指示质检任务，所述质检任务关联待质检数据；获取所述待质检数据关联的第一属性，基于所述第一属性在所述待质检数据中确定第一数据；确定所述第一数据的质检结果。2.根据权利要求1所述的方法，其特征在于，所述第一属性是通过用户输入获取的，或者，是预先配置的信息获取的。3.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一数据的质检结果，包括：显示所述第一数据；获取第二指令，所述第二指令用于指示所述质检结果。4.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一数据的质检结果，包括：根据所述第一属性对应的质检规则，对所述第一数据进行质检，得到所述质检结果。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述质检结果包括第一标识和/或第二标识，所述第一标识用于指示所述第一数据的正确信息，所述第二标识用于指示所述第一数据的错误信息。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：若所述质检结果包括第二标识，获取所述第一数据的修正信息；基于所述修正信息，更新所述第一数据的第一属性。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述方法还包括：对所述待质检数据进行多轮质检。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：根据所述质检结果，确定所述第一数据的标注错误率；显示所述第一数据的标注错误率和/或所述第一数据中标注错误的数据。9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：所述第一数据关联的第一质检任务的数据标注错误率大于预设值，将所述第一质检任务设置为标注任务。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：基于所述第一质检任务的数据标注错误率，确定与所述第一质检任务关联的标注员的标注质量。11.根据权利要求1
‑
10任一项所述的方法，其特征在于，所述方法还包括：将所述第一数据中标注正确的数据用于训练自动质检模型。12.一种数据处理系统，其特征在于，包括：获取模块，用于获取第一指令，所述第一指令用于指示质检任务，所述质检任务关联待质检数据；所述获取模块，还用于获取所述待质检数据关联的第一属性，基于所述第一属性在所述待质检数据中确定第一数据；处理模块，用于确定所述第一数据的质检结果。
13.根据权利要求12所述的系统，其特征在于，所述第一属性是通过用户输入获取的，或者，是通过预先配置的信息获取的...

【专利技术属性】
技术研发人员：梅璇，苏飞，魏宁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：