标注质量检测装置和方法制造方法及图纸

本发明专利技术公开了一种标注质量检测装置，包括：标注前后一致性检测模块，用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性；标注协同一致性检测模块，用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性；标注准确率检测模块，用于在标注过程中，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；质量综合模块，用于根据3个标注质量确定综合标注质量。本发明专利技术还提供一种标注质量检测方法。本发明专利技术能实现自动检测标注质量。

Marking quality inspection devices and methods

【技术实现步骤摘要】
标注质量检测装置和方法
本专利技术涉及数据处理领域，特别是涉及一种标注质量检测装置。本专利技术还涉及一种标注质量检测方法。
技术介绍
在人工智能（ArtificialIntelligence，AI）领域中，往往需要对数据进行标注才能实现对数据的识别，故对数据的标注质量好坏非常重要，标注质量较差时，有可能出现识别偏差或不能识别的情形。现有技术中，对数据的标注所涉及的数据量和工作量都巨大，目前对于大规模数据标注，没有好的标注数据质量检测的工具，只能通过人力进行质量检测。如全查或者抽查等，对于不同标注任务，可能使用的方法也有所不同。本领域技术人员应当知道，采用人工进行检查时，不仅效率低下，而且检查人员在工作量大时难免不会出错，所以，急需一种能实现自动标注质量检测方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种标注质量检测装置，能实现自动检测标注质量，能保证后续算法训练结果可靠。为此，本专利技术还提供一种标注质量检测方法。为解决上述技术问题，本专利技术采用如下技术方案：第一方面，本本文档来自技高网...

【技术保护点】
1.一种标注质量检测装置，其特征在于，包括：标注前后一致性检测模块，标注协同一致性检测模块，标注准确率检测模块，质量综合模块；/n所述标注前后一致性检测模块用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量；/n所述标注协同一致性检测模块用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量；/n所述标注准确率检测模块用于实现：在标注过程中，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注...

【技术特征摘要】
1.一种标注质量检测装置，其特征在于，包括：标注前后一致性检测模块，标注协同一致性检测模块，标注准确率检测模块，质量综合模块；
所述标注前后一致性检测模块用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量；
所述标注协同一致性检测模块用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量；
所述标注准确率检测模块用于实现：在标注过程中，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；
所述质量综合模块用于根据所述第一标注质量、所述第二标注质量和所述第三标注质量确定综合标注质量。


2.如权利要求1所述的标注质量检测装置，其特征在于：所述同一类别标注任务由同一标注员进行标注；所述不同类别标注任务由不同标注员进行标注。


3.如权利要求2所述的标注质量检测装置，其特征在于：所述标注前后一致性检测模块还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注。


4.一种标注质量检测方法，其特征在于，包括如下步骤：
步骤一、进行标注前后一致性检测，包括：在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量；
步骤二、进行标注协同一致性检测，包括：在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性...

【专利技术属性】
技术研发人员：章子誉，颜泽鑫，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31