一种标注数据的处理方法、装置和介质制造方法及图纸

本申请公开了一种标注数据的处理方法、装置和存储介质，其中方法包括：获取经标注人员标注的标注数据；根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，其中所述标注数据审核模型是利用经过审核的标注数据训练的；以及将所述错误标注数据发送至所述标注人员。通过本实施例，可以提高审核后的标注数据的利用率以及对标注数据进行重标注的标注效率。

【技术实现步骤摘要】
一种标注数据的处理方法、装置和介质
本申请涉及大数据领域，特别是涉及一种标注数据的处理方法、装置和介质。
技术介绍
随着通信技术的发展，人工智能等领域对标注数据的需求日益增长，无论是在图像识别领域还是文字分类领域，都对标注数据的正确率有较高的要求。目前对于标注数据的方法是通过标注工作人员对数据进行人工标注，从一批标注数据中抽取部分标注数据进行审核检验，并计算审核检验后的标注数据的正确率，若该正确率不达标，则判断该批标注数据的正确率不合格，则需要标注人员重新对该批数据进行重标注，直到正确率合格。以上过程存在以下问题：首先经过审核校验后的标注数据得不到进一步利用，数据的利用率较低；此外，正确率不合格的标注数据返回给标注人员后，标注人员不知道哪些标注数据是错误的，因此只能对所有数据重新进行标注，因此对标注数据进行重标注的效率比较低。本公开的实施例提供了一种标注数据的处理方法、装置和介质，以提高审核后的标注数据的利用率以及对标注数据进行重标注的标注效率。
技术实现思路
本公开的实施例提供了一种标注数据的处理方法、装置和存储介质，可以提高审核后的标注数据的利用率以及对标注数据进行重标注的标注效率。为解决上述技术问题，本专利技术实施例是这样实现的：第一方面，本公开实施例提供了一种标注数据的处理方法，包括：获取经标注人员标注的标注数据；根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，其中所述标注数据审核模型是利用经过审核的标注数据训练的；将所述错误标注数据发送至所述标注人员。第二方面，本公开实施例还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行如上述第一方面所述的标注数据的处理方法。第三方面，根据本公开实施例还提供了一种标注数据的处理装置，包括：标注数据获取模块，用于获取经标注人员标注的标注数据；错误数据确定模块，用于根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，其中所述标注数据审核模型是利用经过审核的标注数据训练的；标注数据发送模块，用于将所述错误标注数据发送至所述标注人员。第四方面，本公开实施例还提供了一种标注数据的处理装置，包括：处理器；存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取经标注人员标注的标注数据；根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，其中所述标注数据审核模型是利用经过审核的标注数据训练的；将所述错误标注数据发送至所述标注人员。本专利技术实施例中，获取经标注人员标注的标注数据，根据标注数据利用预先构建的标注数据审核模型(其中标注数据审核模型是利用经过审核的标注数据训练得到的)，确定标注数据中的错误标注数据，并将错误标注数据发送至标注人员。从而，本实施例中通过利用预先构建的标注数据审核模型，确定标注数据中的错误标注数据，从而使得标注人员重新标注错误标注数据，从而提高了对标注数据进行重新标注的效率。此外，由于本实施例是利用审核后的标注数据训练得到标注数据审核模型，因此提高了审核后的标注数据的利用率。从而，本实施例的技术方案提高了审核后的标注数据的利用率以及对标注数据进行重标注的标注效率。附图说明此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：图1为本公开一实施例提供的用于实现一种标注数据的处理方法的计算设备的硬件结构框图；图2为本公开一实施例提供的标注数据的处理方法的流程示意图；图3为本公开一实施例提供的标注数据的处理装置示意图；图4为本公开另一实施例提供的标注数据的处理装置的示意图。具体实施方式为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1根据本实施例，还提供了一种标注数据的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现一种标注数据的处理方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的标注数据的处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的标注数据的处理方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设本文档来自技高网...

【技术保护点】
1.一种标注数据的处理方法，其特征在于，包括：/n获取经标注人员标注的标注数据；/n根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，其中所述标注数据审核模型是利用经过审核的标注数据训练的；将所述错误标注数据发送至所述标注人员。/n

【技术特征摘要】
1.一种标注数据的处理方法，其特征在于，包括：
获取经标注人员标注的标注数据；
根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，其中所述标注数据审核模型是利用经过审核的标注数据训练的；将所述错误标注数据发送至所述标注人员。


2.根据权利要求1所述的方法，其特征在于，根据所述标注数据利用预先构建的标注数据审核模型，确定所述标注数据中的错误标注数据，包括：
将所述标注数据代入预先构建的标注数据审核模型中，得到所述标注数据的错误概率；
根据所述标注数据的错误概率和预设判断条件，确定所述标注数据中的错误标注数据。


3.根据权利要求2所述的方法，其特征在于，根据所述标注数据的错误概率和预设判断条件，确定所述标注数据中的错误标注数据，包括：
将所述标注数据按照所述错误概率从大到小的顺序排列；
根据预设比例计算所述标注数据中的所述错误标注数据的预设数量；
将排列后的所述标注数据中的前所述预设数量的所述标注数据确定为所述错误标注数据。


4.根据权利要求2所述的方法，其特征在于，根据所述标注数据的错误概率和预设判断条件，确定所述标注数据中的错误标注数据，包括：
从所述标注数据中筛选预定数量的所述标注数据进行审核，得到所述标注数据的错误率；
根据所述标注数据的错误率和所述标注数据的预设正确率，确定所述标注数据达到所述预设正确率需要审核标注的错误标注数据的数量；
将所述标注数据按照所述错误概率从大到小的顺序排列；
对排列后的所述标注数据依次进行审核标注，直到确定所述错误标注数据的数量达到所述需要审核标注的错误标注数据的数量。


5.根据权利要求1所述的方法，其特征在于，在获取经标注人员标注的标注数据之前，包括：...

【专利技术属性】
技术研发人员：刘睿，靳丁南，罗欢，权圣，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：北京;11