标注处理方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种标注处理方法、装置、设备以及存储介质。涉及样本标注、样本质检等人工智能领域。具体实现方案为：确定待标注样本；获取目标模型基于待标注样本输出的第一标注结果；获取第一标注平台基于待标注样本输出的第二标注结果；对比第一标注结果与第二标注结果之间的差异；基于差异从待标注样本中确定出第一标注样本，第一标注样本是需要验证的样本。根据本公开的技术方案，能提高样本标注的效率，提升样本标注的质检质量。提升样本标注的质检质量。提升样本标注的质检质量。

【技术实现步骤摘要】
标注处理方法、装置、设备以及存储介质


[0001]本公开涉及样本标注、样本质检等人工智能领域，具体涉及一种标注处理方法、装置、设备以及存储介质。

技术介绍

[0002]人工智能应用落地过程中，数据标注的质量决定了人工智能的落地的好坏。对于一个新的标注任务，常规的操作流程包括设计标注文档、收集数据、送标数据、人工标注、随机质检、返回标注数据等。一个完整的操作流程往往需要很多的人力、标注周期也很长。一般为了加快标注效率，会考虑增加人力，多线并行处理。然而，每个标注人员对于标注规则的理解是有偏差的，所以标注结果难免会有轻微的不同，当待标注的数据量增大时，标注的质量也会随之下降，而随机质检对于样本的标注质量无法有效掌控。

技术实现思路

[0003]本公开提供了一种标注处理方法、装置、设备以及存储介质。
[0004]根据本公开的第一方面，提供了一种标注处理方法，包括：
[0005]确定待标注样本；
[0006]获取目标模型基于待标注样本输出的第一标注结果；
[0007]获取第一标注平台基于待标注样本输出的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标注处理方法，包括：确定待标注样本；获取目标模型基于所述待标注样本输出的第一标注结果；获取第一标注平台基于所述待标注样本输出的第二标注结果；对比所述第一标注结果与所述第二标注结果之间的差异；基于所述差异从所述待标注样本中确定出第一标注样本，所述第一标注样本是需要验证的样本。2.根据权利要求1所述的方法，其中，所述基于所述差异从所述待标注样本中确定出第一标注样本，包括：将所述待标注样本中所述差异高于第一阈值的样本，确定为所述第一标注样本。3.根据权利要求2所述的方法，其中，所述将所述待标注样本中所述差异高于第一阈值的样本，确定为所述第一标注样本，包括：从所述差异包括的多个对比参数中确定出至少一个对比参数；将所述待标注样本中所述至少一个对比参数对应的差异大于所述第一阈值的样本，确定为所述第一标注样本。4.根据权利要求1所述的方法，还包括：获取所述待标注样本的标注规则；基于所述标注规则从算法库中确定出目标算法；将所述目标算法对应的模型确定为所述待标注样本对应的目标模型。5.根据权利要求1所述的方法，还包括：向第二标注平台发送所述第一标注样本；获取所述第二标注平台返回的所述第一标注样本的验证结果；基于所述验证结果对所述第一标注样本进行更新处理，得到更新后的所述第一标注样本。6.根据权利要求5所述的方法，还包括：基于所述验证结果，确定所述目标模型的标注准确率；在所述标注准确率低于第二阈值的情况下，输出针对所述目标模型的告警信息。7.根据权利要求5所述的方法，还包括：基于所述验证结果生成训练样本；通知所述目标模型基于所述训练样本调整所述目标模型的参数。8.根据权利要求1所述的方法，还包括：基于所述差异从所述待标注样本中确定出第二标注样本，所述第二标注样本是所述差异低于第三阈值的样本。9.一种标注处理装置，包括：第一确定模块，用于确定待标注样本；第一获取模块，用于获取目标模型基于所述待标注样本输出的第一标注结果；第二获取模块，用于获取第一标注平台基于所述待标注样本输出的第二标注结果；对比模块，用于对比所述第一标注结果与所述第二标注结果之间的差异；第二确定模块，用于基于所述差异从所述待标注样本中确定出第一标注样本，所述第
一标注样本是需要验证的样本。10.根...

【专利技术属性】
技术研发人员：夏春龙，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：