样本标注信息的审核方法及装置制造方法及图纸

本发明专利技术提供一种样本标注信息的审核方法及装置，所述方法包括：获取需要进行审核的标注样本并组成训练样本集；将训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；获取作为测试使用的识别样本集，针对识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于预设阈值的识别结果对应的第一识别模型确定为目标识别模型；对目标识别模型对应的子样本集中的标注样本进行标注信息审核。应用本发明专利技术提供的方案可以快速审核样本的标注结果。

Examination Method and Device of Sample Labeling Information

【技术实现步骤摘要】
样本标注信息的审核方法及装置
本专利技术涉及人工智能
，尤其涉及一种样本标注信息的审核方法、装置、电子设备和计算机可读存储介质。
技术介绍
在人工智能领域的模型训练中需要对样本进行标注，比如通过人工来对样本进行标注，或者通过预先建立好的神经网络识别模型对样本进行自动识别并标注。为保证模型训练的准确率，还需要对样本的标注信息是否准确进行审核。目前，通常是由人工对所有已标注的样本的标注信息进行审核。然而，由于样本集中样本的数量比较大，这样就会花费较多时间和人力来审核样本的标注信息。
技术实现思路
本专利技术的目的在于提供一种样本标注信息的审核方法、装置、电子设备和计算机可读存储介质，以快速审核样本的标注信息。具体技术方案如下：第一方面，本专利技术提供了一种样本标注信息的审核方法，所述方法包括：获取需要进行审核的标注样本并组成训练样本集；其中，所述标注样本预先标注有标注信息；将所述训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；所述第一识别模型为基于神经网络的模型；获取作为测试使用的识别样本集，针对所述识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于所述预设阈值的识别结果对应的第一识别模型确定为目标识别模型；对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核。可选的，当存在出现次数均不小于预设阈值的多个识别结果时，所述方法还包括：将目标识别结果对应的第一识别模型确定为目标识别模型；其中，所述目标识别结果为所述多个识别结果中除出现次数最多的识别结果以外的识别结果。可选的，当各识别结果的出现次数均小于所述预设阈值，所述方法还包括：对该识别样本进行审核，得到该识别样本的审核结果。可选的，对该识别样本进行审核之后，所述方法还包括：判断该识别样本的审核结果是否存在于不同的第一识别模型对该识别样本的识别结果中；如果存在，则将识别结果与所述审核结果不同的第一识别模型确定为目标识别模型；如果不存在，则将全部第一识别模型确定为目标识别模型。可选的，所述预设数量大于等于3。优选的，所述预设数量大于等于5。可选的，所述将所述训练样本集分为预设数量个子样本集，包括：将所述训练样本集平均分为预设数量个子样本集，任意两个子样本集中样本的数量差小于等于1。可选的，所述获取作为测试使用的识别样本集，包括：从需要进行审核的标注样本中获取部分标注样本组成作为测试使用的识别样本集。可选的，所述对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核，包括：将所述目标识别模型对应的子样本集中的标注样本发送给校验客户端，以使所述校验客户端对接收的标注样本进行标注信息审核。可选的，所述校验客户端为通过预先训练建立的第二识别模型对接收的标注样本进行审核的客户端，所述第二识别模型的识别准确率高于一定阈值；或所述校验客户端为对接收的标注样本进行人工审核的客户端。第二方面，本专利技术还提供了一种样本标注信息的审核装置，所述装置包括：获取模块，用于获取需要进行审核的标注样本并组成训练样本集；其中，所述标注样本预先标注有标注信息；训练模块，用于将所述训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；所述第一识别模型为基于神经网络的模型；识别模块，用于获取作为测试使用的识别样本集，针对所述识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于所述预设阈值的识别结果对应的第一识别模型确定为目标识别模型；审核模块，用于对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核。可选的，所述识别模块还用于：当存在出现次数均不小于预设阈值的多个识别结果时，将目标识别结果对应的第一识别模型确定为目标识别模型；其中，所述目标识别结果为所述多个识别结果中除出现次数最多的识别结果以外的识别结果。可选的，所述识别模块还用于：当各识别结果的出现次数均小于所述预设阈值，对该识别样本进行审核，得到该识别样本的审核结果。可选的，所述识别模块还用于：对该识别样本进行审核之后，判断该识别样本的审核结果是否存在于不同的第一识别模型对该识别样本的识别结果中；如果存在，则将识别结果与所述审核结果不同的第一识别模型确定为目标识别模型；如果不存在，则将全部第一识别模型确定为目标识别模型。可选的，所述预设数量大于等于3。优选的，所述预设数量大于等于5。可选的，所述训练模块将所述训练样本集分为预设数量个子样本集，具体为：将所述训练样本集平均分为预设数量个子样本集，任意两个子样本集中样本的数量差小于等于1。可选的，所述识别模块获取作为测试使用的识别样本集，具体为：从需要进行审核的标注样本中获取部分标注样本组成作为测试使用的识别样本集。可选的，所述审核模块对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核，具体为：将所述目标识别模型对应的子样本集中的标注样本发送给校验客户端，以使所述校验客户端对接收的标注样本进行标注信息审核。可选的，所述校验客户端为通过预先训练建立的第二识别模型对接收的标注样本进行审核的客户端，所述第二识别模型的识别准确率高于一定阈值；或所述校验客户端为对接收的标注样本进行人工审核的客户端。第三方面，本专利技术还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面所述的样本标注信息的审核方法的步骤。第四方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的样本标注信息的审核方法的步骤。与现有技术相比，本专利技术首先获取需要进行审核的标注样本并组成训练样本集，然后将训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型，再获取作为测试使用的识别样本集，针对识别样本集中的每一识别样本，均通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于预设阈值的识别结果对应的第一识别模型确定为目标识别模型，进而对所确定的目标识别模型对应的子样本集中的标注样本进行标注信息审核。相比于现有技术由人工对样本集中所有样本的标注信息进行审核的方式，本专利技术可以实现对样本标注信息的快速审核，降低时间和人力成本；同时，本专利技术将训练样本集分为多个子样本集并训练建立多个第一识别模型，这种方式特别适用于训练样本集包含大量需要审核的标注样本的场景。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出本文档来自技高网...

【技术保护点】
1.一种样本标注信息的审核方法，其特征在于，所述方法包括：获取需要进行审核的标注样本并组成训练样本集；其中，所述标注样本预先标注有标注信息；将所述训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；所述第一识别模型为基于神经网络的模型；获取作为测试使用的识别样本集，针对所述识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于所述预设阈值的识别结果对应的第一识别模型确定为目标识别模型；对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核。

【技术特征摘要】
1.一种样本标注信息的审核方法，其特征在于，所述方法包括：获取需要进行审核的标注样本并组成训练样本集；其中，所述标注样本预先标注有标注信息；将所述训练样本集分为预设数量个子样本集，对不同的子样本集分别进行训练，建立不同的第一识别模型；所述第一识别模型为基于神经网络的模型；获取作为测试使用的识别样本集，针对所述识别样本集中的每一识别样本，通过建立的不同的第一识别模型分别进行识别，得到每一第一识别模型对该识别样本的识别结果，统计各识别结果的出现次数，当存在出现次数不小于预设阈值的识别结果时，将出现次数小于所述预设阈值的识别结果对应的第一识别模型确定为目标识别模型；对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核。2.如权利要求1所述的样本标注信息的审核方法，其特征在于，当存在出现次数均不小于预设阈值的多个识别结果时，所述方法还包括：将目标识别结果对应的第一识别模型确定为目标识别模型；其中，所述目标识别结果为所述多个识别结果中除出现次数最多的识别结果以外的识别结果。3.如权利要求1所述的样本标注信息的审核方法，其特征在于，当各识别结果的出现次数均小于所述预设阈值，所述方法还包括：对该识别样本进行审核，得到该识别样本的审核结果。4.如权利要求3所述的样本标注信息的审核方法，其特征在于，对该识别样本进行审核之后，所述方法还包括：判断该识别样本的审核结果是否存在于不同的第一识别模型对该识别样本的识别结果中；如果存在，则将识别结果与所述审核结果不同的第一识别模型确定为目标识别模型；如果不存在，则将全部第一识别模型确定为目标识别模型。5.如权利要求1所述的样本标注信息的审核方法，其特征在于，所述预设数量大于等于3。6.如权利要求5所述的样本标注信息的审核方法，其特征在于，所述预设数量大于等于5。7.如权利要求1所述的样本标注信息的审核方法，其特征在于，所述将所述训练样本集分为预设数量个子样本集，包括：将所述训练样本集平均分为预设数量个子样本集，任意两个子样本集中样本的数量差小于等于1。8.如权利要求1所述的样本标注信息的审核方法，其特征在于，所述获取作为测试使用的识别样本集，包括：从需要进行审核的标注样本中获取部分标注样本组成作为测试使用的识别样本集。9.如权利要求1所述的样本标注信息的审核方法，其特征在于，所述对所述目标识别模型对应的子样本集中的标注样本进行标注信息审核，包括：将所述目标识别模型对应的子样本集中的标注样本发送给校验客户端，以使所述校验客户端对接收的标注样本进行标注信息审核。10.如权利要求9所述的样本标注信息的审核方法，其特征在于，所述校验客户端为通过预先训练建立的第二识别模型对接收的标注样本进行审核的客户端，所述第二识别模型的识别准确率高于一定阈值；或所述校验客户端为对接收的标注样本进行人工审核的客户端。11.一种样本标注信息的审核装置，其特征在于，所述装置包括：获取模块，用于获取需要进行审核的标注样本并组成训练样本集；其中，所述标...

【专利技术属性】
技术研发人员：徐青松，李青，
申请(专利权)人：杭州睿琪软件有限公司，
类型：发明
国别省市：浙江,33