一种文本标注的质量评估方法及装置制造方法及图纸

本申请公开了一种文本标注的质量评估方法和装置。该方法包括：建立目标样本集，所述目标样本集包括种子样本，所述种子样本配置有标准标注信息；建立总样本集，并提供给标注对象进行标注；所述总样本集包括目标样本集和任务样本；获取所述标注对象针对所述目标样本集生成的标注结果；根据检测标准对所述目标样本集的标注结果进行检测，生成检测结果；其中，所述种子样本的检测标准是比较所述种子样本的标准标注信息与所述标注结果；基于检测结果评估所述目标样本集的标注质量，并根据所述目标样本集的标注质量确定所述总样本集的标注质量；其中，所述总样本集的标注质量与所述目标样本集的标注质量成正相关，从而能够准确评估文本标注质量。

【技术实现步骤摘要】

本申请一个或多个实施例涉及文本数据标注，尤其涉及一种用于评估文本标注质量的方法和装置。

技术介绍

1、在搜索、信息获取、机器翻译等技术的需求和推动下，文本标注因为其广阔的应用场景与利用价值受到很大关注，当前常用的两种手段是人工标注和机器模型训练，两种方式各有优势，人工标注文本相对于机器模型训练能够更准确把握文本的含义和情感倾向，但可能会因为精力和误读产生错判，甚至同一个人对同样的文本数据前后会有不同的标注，而错误的标注容易带来误导，降低了标注价值。

2、目前业界为保证文本标注的质量，常安排专职人员对已标注文本进行人工抽检或全检，在面对数据量巨大的文本标注结果的情况下，这种方式一方面是大大增加了人力成本和时间成本，另一方面也忽视了人工标注可能出现的错漏。因此，对标注质量的评估和检测效率低下且不够全面，同时，也缺乏对检测结果的反馈，不能在原有标注质量的基础上加以优化。

技术实现思路

1、本申请提供一种用于文本标注的质量评估方法和装置，以解决相关技术中的不足。

2、根据本申请一个或多个实施例本文档来自技高网...

【技术保护点】

1.一种文本标注的质量评估方法，其特征在于，包括：

2.根据权利要求1所述的文本标注的质量评估方法，其特征在于，所述根据检测标准对所述目标样本集的标注结果进行检测，生成检测结果，包括：

3.根据权利要求1所述的文本标注的质量评估方法，其特征在于，所述基于检测结果评估所述目标样本集的标注质量，包括：

4.根据权利要求1所述的文本标注的质量评估方法，其特征在于，所述目标样本集还包括重复样本；

5.根据权利要求3所述的文本标注的质量评估方法，其特征在于，所述目标样本集质量评估的指标，还包括去重准确率；

6.根据权利要求1所述的文本标注...

【技术特征摘要】

1.一种文本标注的质量评估方法，其特征在于，包括：

2.根据权利要求1所述的文本标注的质量评估方法，其特征在于，所述根据检测标准对所述目标样本集的标注结果进行检测，生成检测结果，包括：

3.根据权利要求1所述的文本标注的质量评估方法，其特征在于，所述基于检测结果评估所述目标样本集的标注质量，包括：

4.根据权利要求1所述的文本标注的质量评估方法，其特征在于，所述目标样本集还包括重复样本；

5.根据权利要求3所述的文本标注的质量评估方法，其特征在于，所述目标样本集质量评估的指标，还包括去重准确率；

6.根据权利要求1所述的文本标注的质量评估方...

【专利技术属性】
技术研发人员：胡慧，
申请(专利权)人：雷达新能源汽车浙江有限公司，
类型：发明
国别省市：