一种基于数据标注的质检方法和装置制造方法及图纸

本发明专利技术实施例提供一种基于数据标注的质检方法和装置，该方法包括：基于预设的排查规则，通过排查脚本排查数据标注中的常规问题；若判断获知无常规问题，则将两份相同的数据标注内容进行对比，若相似度低于预设第一相似度阈值，则进行三方交叉对比，若判断获知存在相似度高于预设第二相似度阈值，则筛选出相似度最高的两组对比数据中重复出现的数据标注作为最优值输出。一方面大量的脚本设定排除特殊情况，常规错误影响；另一方面在通过两相同样本对比之后，进行第三方相同样本二次交叉对比，通过一二两个步骤的共同作用，能使得整个质检工作在整个项目实施范围内，差错率达到较高的精度。

A quality inspection method and device based on data annotation

【技术实现步骤摘要】
一种基于数据标注的质检方法和装置
本专利技术实施例涉及自动驾驶
，尤其涉及一种基于数据标注的质检方法和装置。
技术介绍
目前以数据标注技术为基础的算法深度学习在人工智能方面发挥着愈来愈大的作用，尤其是诸如手机、平板、电脑等设备以基于人工智能为核心的自动识别系统在自动驾驶，生物识别等业务领域发挥了奠定基础的作用。数据标注技术为深度算法训练学习提供了大量有效的真值。至此便衍生出数据标注的质检技术，以保证人工制作真值得准确率。现有技术中，一般采用质检方式主要是通过人工以制作的视角去检查判断对错，存在较大主观性，效率较低下等问题。导致数据标注修改不准确，因而导致了算法学习训练因样本集真值误差，给人工智能发展应用带来局限性。
技术实现思路
本专利技术实施例提供一种基于数据标注的质检方法和装置，用以解决现有技术中质检方式主要是通过人工以制作的视角去检查判断对错，存在较大主观性，效率较低下等问题。第一方面，本专利技术实施例提供一种基于数据标注的质检方法，包括：基于预设的排查规则，通过排查脚本排查数据标注中的常规问题；若判断获知无常规问题，则将两份相同的数据标注内容进行对比，若相似度低于预设第一相似度阈值，则进行三方交叉对比，若判断获知存在相似度高于预设第二相似度阈值，则筛选出相似度最高的两组对比数据中重复出现的数据标注作为最优值输出。作为优选的，基于预设的质检条件，通过脚本排查数据标注中的常规问题，具体包括：统计数据标注中出现的常规问题，并制定各常规问题的排查规则，基于所述排查规则设定每个常规问题的排查脚本，以对数据标注中的常规问题进行排查。作为优选的，还包括：若判断获知有常规问题，则将输出错误点以供对应的处理端口进行修改。作为优选的，还包括：若相似度不低于预设第一相似度阈值，则任选其一作为最优值输出。作为优选的，进行三方交叉对比，具体包括：对同一数据标注样本进行三方数据对比，通过将第一数据标注样本与标注同一物体的第二数据标注样本和第三数据标注样本进行两两对比，对比得到第一相似度、第二相似度和第三相似度；若判断获知所述第一相似度和/或所述第二相似度和/或所述第三相似度大于第二相似度阈值，则取所述第一相似度、第二相似度和第三相似度中较大两个值，并筛选出其中重复出现的数据样本作为最优值输出。作为优选的，还包括：若判断获知所述第一相似度、所述第二相似度和所述第三相似度均不大于第二相似度阈值，则输出错误点以供对应的处理端口进行修改。第二方面，本专利技术实施例提供一种基于数据标注的质检装置，包括：常规排查模块，基于预设的排查规则，通过排查脚本排查数据标注中的常规问题；两方对比排查模块，若判断获知无常规问题，则将两份相同的数据标注内容进行对比，获取相似度；三方对比排查模块，用于若相似度低于预设第一相似度阈值，则进行三方交叉对比，若判断获知存在相似度高于预设第二相似度阈值，则筛选出相似度最高的两组对比数据中重复出现的数据标注作为最优值输出。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面实施例所述基于数据标注的质检方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面实施例所述基于数据标注的质检方法的步骤。本专利技术实施例提供的一种基于数据标注的质检方法和装置，将数据脚本筛查，交叉对比，提高其数据的精度与准确度，从而生产出在此类人工智能算法深度学的大量真值及样本集；一方面大量的脚本设定排除特殊情况，常规错误影响；另一方面在通过两相同样本对比之后，进行第三方相同样本二次交叉对比，通过一二两个步骤的共同作用，能使得整个质检工作在整个项目实施范围内，差错率达到较高的精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例的基于数据标注的质检方法流程框图；图2为根据本专利技术实施例的基于数据标注的质检方法具体流程示意图；图3为根据本专利技术实施例的一种电子设备结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。数据标注技术为深度算法训练学习提供了大量有效的真值。至此便衍生出数据标注的质检技术，以保证人工制作真值得准确率。现有技术中，一般采用质检方式主要是通过人工以制作的视角去检查判断对错，存在较大主观性，效率较低下等问题。导致数据标注修改不准确，因而导致了算法学习训练因样本集真值误差，给人工智能发展应用带来局限性。因此，本专利技术实施例提供一种基于数据标注的质检方法和装置，将数据脚本筛查，交叉对比，提高其数据的精度与准确度，从而生产出在此类人工智能算法深度学的大量真值及样本集。以下将通过多个实施例进行展开说明和介绍。图1和图2为本专利技术实施例提供一种基于数据标注的质检方法，包括：基于预设的排查规则，通过排查脚本排查数据标注中的常规问题；若判断获知无常规问题，则将两份相同的数据标注内容进行对比，若相似度低于预设第一相似度阈值，则进行三方交叉对比，若判断获知存在相似度高于预设第二相似度阈值，则筛选出相似度最高的两组对比数据中重复出现的数据标注作为最优值输出。在本实施例中，作为一种优选的实施方式，一方面大量的脚本设定排除特殊情况，常规错误影响；本文档来自技高网...

【技术保护点】
1.一种基于数据标注的质检方法，其特征在于，包括：/n基于预设的排查规则，通过排查脚本排查数据标注中的常规问题；若判断获知无常规问题，则将两份相同的数据标注内容进行对比，若相似度低于预设第一相似度阈值，则进行三方交叉对比，若判断获知存在相似度高于预设第二相似度阈值，则筛选出相似度最高的两组对比数据中重复出现的数据标注作为最优值输出。/n

【技术特征摘要】
1.一种基于数据标注的质检方法，其特征在于，包括：
基于预设的排查规则，通过排查脚本排查数据标注中的常规问题；若判断获知无常规问题，则将两份相同的数据标注内容进行对比，若相似度低于预设第一相似度阈值，则进行三方交叉对比，若判断获知存在相似度高于预设第二相似度阈值，则筛选出相似度最高的两组对比数据中重复出现的数据标注作为最优值输出。


2.根据权利要求1所述的基于数据标注的质检方法，其特征在于，基于预设的质检条件，通过脚本排查数据标注中的常规问题，具体包括：
统计数据标注中出现的常规问题，并制定各常规问题的排查规则，基于所述排查规则设定每个常规问题的排查脚本，以对数据标注中的常规问题进行排查。


3.根据权利要求1所述的基于数据标注的质检方法，其特征在于，还包括：
若判断获知有常规问题，则将输出错误点以供对应的处理端口进行修改。


4.根据权利要求1所述的基于数据标注的质检方法，其特征在于，还包括：
若相似度不低于预设第一相似度阈值，则任选其一作为最优值输出。


5.根据权利要求1所述的基于数据标注的质检方法，其特征在于，进行三方交叉对比，具体包括：
对同一数据标注样本进行三方数据对比，通过将第一数据标注样本与标注同一物体的第二数据标注样本和第三数据标注样本进行两两对比，对比得到第一相似度、第二相似度和第三相似度；...

【专利技术属性】
技术研发人员：王军德，周风明，郝江波，何瑞，
申请(专利权)人：武汉光庭信息技术股份有限公司，
类型：发明
国别省市：湖北;42