数据标注方法、装置和系统及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据标注方法、装置和系统以及存储介质。数据标注方法包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息，其中，预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果，其中，第二数目的未标注数据为第一数目的未标注数据中的至少部分未标注数据；接收针对第二数目的未标注数据的预标注结果的反馈信息；以及基于反馈信息确定第二数目的未标注数据的最终标注结果。未标注数据先由数据标注系统进行预标注之后再交给用户进行检查，这样可以大大减小数据标注的人力成本。

Data annotation method, device and system and storage medium

The embodiment of the present invention provides a data annotation method, device, system and storage medium. The data annotation method includes: selecting the first number of unlabeled data from the unlabeled data set of the data pool; pre-annotating the first number of unlabeled data using the annotation model to obtain the pre-annotated information of the first number of unlabeled data, in which the pre-annotated information includes the result of the pre-annotation; and transmitting it to the display device. The second number of unlabeled data and the second number of unlabeled data are pre-annotated results, in which the second number of unlabeled data is at least part of the first number of unlabeled data; the feedback information of the pre-annotated results for the second number of unlabeled data is received; and the feedback information is based on the feedback information. Determine the final annotation result of the second number of unlabeled data. Unmarked data is pre-marked by data annotation system and then checked by users, which can greatly reduce the human cost of data annotation.

【技术实现步骤摘要】
数据标注方法、装置和系统及存储介质
本专利技术涉及计算机
，更具体地涉及一种数据标注方法、装置和系统以及存储介质。
技术介绍
人工智能发展到今天，数据的作用被越来越凸显出来。训练好一个神经网络模型，通常需要上百万甚至上亿量级的数据。数据的标注周期和成本直接影响了一个人工智能公司的行业竞争力。当前的数据标注平台存在以下不足：数据标注模式均为对数据进行人工逐一标注；其标注成本一般与数据集规模呈正比，在标注超大数据集时通常需要较大的人力投入和较长的标注周期。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种数据标注方法、装置和系统以及存储介质。根据本专利技术一方面，提供了一种数据标注方法。数据标注方法包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息，其中，预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果，其中，第二数目的未标注数据为第一数目的未标注数据中的至少部分未标注数据；接收针对第二数目的未标注数据的预标注结果的反馈信息；以及基于反馈信息确定第二数目的未标注数据的最终标注结果。示例性地，预标注信息还包括数据得分，在显示装置上，第二数目的未标注数据是按照第二数目的未标注数据的数据得分排列的，在向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果之前，方法还包括：根据第二数目的未标注数据的数据得分对第二数目的未标注数据进行排序。示例性地，预标注信息还包括数据得分，在向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果之前，方法还包括：从第一数目的未标注数据中选择数据得分大于第一得分阈值或者小于第二得分阈值的未标注数据作为第二数目的未标注数据；或者从第一数目的未标注数据中选择数据得分最高的第二数目的未标注数据。示例性地，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息包括：在预定标注策略为高概率策略或边界策略的情况下，对于第一数目的未标注数据中的每个未标注数据，将该未标注数据输入标注模型进行类别预测，标注模型的输出结果用于指示该未标注数据属于至少一个预定类别的概率；以及确定至少一个预定类别中概率最大的预定类别为该未标注数据的预标注结果。示例性地，预标注信息还包括数据得分，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息还包括：在预定标注策略为高概率策略的情况下，对于第一数目的未标注数据中的每个未标注数据，确定该未标注数据属于至少一个预定类别的概率中的最大概率，并将最大概率作为该未标注数据的数据得分。示例性地，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息包括：在预定标注策略为高相似策略的情况下，对于第一数目的未标注数据中的每个未标注数据，将该未标注数据输入标注模型，以提取该未标注数据的数据特征；根据该未标注数据的数据特征与已标注数据集中的至少一个已标注数据的数据特征，计算该未标注数据与至少一个已标注数据之间的相似度；确定与该未标注数据之间的相似度最大的已标注数据所属的类别为该未标注数据的预标注结果。示例性地，预标注信息还包括数据得分，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息还包括：在预定标注策略为高相似策略的情况下，对于第一数目的未标注数据中的每个未标注数据，确定该未标注数据与至少一个已标注数据之间的相似度中的最大相似度，并将最大相似度作为该未标注数据的数据得分。示例性地，预标注信息还包括数据得分，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息包括：在预定标注策略为边界策略的情况下，对于第一数目的未标注数据中的每个未标注数据，将该未标注数据输入标注模型进行类别预测，标注模型的输出结果用于指示该未标注数据属于至少一个预定类别的概率；根据该未标注数据属于至少一个预定类别的概率，确定该未标注数据的分类不确定度，并将分类不确定度作为该未标注数据的数据得分。示例性地，分类不确定度为该未标注数据属于至少一个预定类别的概率的熵。示例性地，预标注信息还包括数据得分，标注模型包括多个子模型，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息包括：在预定标注策略为边界策略的情况下，对于第一数目的未标注数据中的每个未标注数据，将该未标注数据分别输入多个子模型进行类别预测，根据多个子模型中的每个子模型的输出结果分别确定多个子模型所预测的该未标注数据所属的预定类别；以及根据多个子模型所预测的该未标注数据所属的预定类别计算该未标注数据的分类不统一程度，并将分类不统一程度作为该未标注数据的数据得分。示例性地，在利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息之前，方法还包括：接收用于指示预定标注策略的策略指示信息。示例性地，在向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果之前，方法还包括：接收用于指示指定类别的类别指示信息；从第一数目的未标注数据中选择预标注结果属于指定类别的未标注数据；以及从所选择的未标注数据中选择第二数目的未标注数据。示例性地，在基于反馈信息确定第二数目的未标注数据的最终标注结果之后，方法还包括：将第三数目的未标注数据和第三数目的未标注数据的最终标注结果存储到数据池中的已标注数据集，并从未标注数据集中移除第三数目的未标注数据，以更新数据池，其中，第三数目的未标注数据为第二数目的未标注数据中的至少部分未标注数据。示例性地，方法还包括：利用已标注数据集和/或未标注数据集，训练标注模型。示例性地，方法还包括：获取至少一个验证数据和至少一个验证数据的验证标注结果；利用标注模型对至少一个验证数据进行标注，以获得至少一个验证数据的模型标注结果；以及根据至少一个验证数据的验证标注结果和模型标注结果计算标注模型的标注准确率。示例性地，在向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果之前，方法还包括：确定标注模型的标注准确率低于准确率阈值。根据本专利技术另一方面，提供了一种数据标注装置，包括：第一选择模块，用于从数据池的未标注数据集中选择第一数目的未标注数据；预标注模块，用于利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息，其中，预标注信息包括预标注结果；输出模块，用于向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果，其中，第二数目的未标注数据为第一数目的未标注数据中的至少部分未标注数据；接收模块，用于接收针对第二数目的未标注数据的预标注结果的反馈信息；结果确定模块，用于基于反馈信息确定第二数目的未标注数据的最终标注结果。根据本专利技术另一方面，提供了一种数据标注系统，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述数据标注方法。根据本专利技术另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述数据标注方法。根据本专利技术本文档来自技高网...

【技术保护点】
1.一种数据标注方法，包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息，其中，所述预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果，其中，所述第二数目的未标注数据为所述第一数目的未标注数据中的至少部分未标注数据；接收针对所述第二数目的未标注数据的预标注结果的反馈信息；以及基于所述反馈信息确定所述第二数目的未标注数据的最终标注结果。

【技术特征摘要】
1.一种数据标注方法，包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息，其中，所述预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果，其中，所述第二数目的未标注数据为所述第一数目的未标注数据中的至少部分未标注数据；接收针对所述第二数目的未标注数据的预标注结果的反馈信息；以及基于所述反馈信息确定所述第二数目的未标注数据的最终标注结果。2.如权利要求1所述的方法，其中，所述预标注信息还包括数据得分，在所述显示装置上，所述第二数目的未标注数据是按照所述第二数目的未标注数据的数据得分排列的，在所述向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果之前，所述方法还包括：根据所述第二数目的未标注数据的数据得分对所述第二数目的未标注数据进行排序。3.如权利要求1所述的方法，其中，所述预标注信息还包括数据得分，在所述向显示装置输出第二数目的未标注数据和所述第二数目的未标注数据的预标注结果之前，所述方法还包括：从所述第一数目的未标注数据中选择数据得分大于第一得分阈值或者小于第二得分阈值的未标注数据作为所述第二数目的未标注数据；或者从所述第一数目的未标注数据中选择数据得分最高的所述第二数目的未标注数据。4.如权利要求1所述的方法，其中，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息包括：在预定标注策略为高概率策略或边界策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，将该未标注数据输入所述标注模型进行类别预测，所述标注模型的输出结果用于指示该未标注数据属于至少一个预定类别的概率；以及确定所述至少一个预定类别中概率最大的预定类别为该未标注数据的预标注结果。5.如权利要求4所述的方法，其中，所述预标注信息还包括数据得分，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息还包括：在所述预定标注策略为所述高概率策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，确定该未标注数据属于至少一个预定类别的概率中的最大概率，并将所述最大概率作为该未标注数据的数据得分。6.如权利要求1所述的方法，其中，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息包括：在预定标注策略为高相似策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，将该未标注数据输入所述标注模型，以提取该未标注数据的数据特征；根据该未标注数据的数据特征与所述已标注数据集中的至少一个已标注数据的数据特征，计算该未标注数据与所述至少一个已标注数据之间的相似度；确定与该未标注数据之间的相似度最大的已标注数据所属的类别为该未标注数据的预标注结果。7.如权利要求6所述的方法，其中，所述预标注信息还包括数据得分，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息还包括：在所述预定标注策略为所述高相似策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，确定该未标注数据与至少一个已标注数据之间的相似度中的最大相似度，并将所述最大相似度作为该未标注数据的数据得分。8.如权利要求1所述的方法，其中，所述预标注信息还包括数据得分，所述利用标注模型对所述第一数目的未标注数据进行预标注，以获得所述第一数目的未标注数据的预标注信息包括：在预定标注策略为边界策略的情况下，对于所述第一数目的未标注数据中的每个未标注数据，将该未标注数据输入所述标注模型进行类别预测，所述标注模型的输出结果用于指示该未标注数据属于至少一个预定类别的概率；根据...

【专利技术属性】
技术研发人员：谢津，周昕宇，张华翼，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京,11