一种数据标注质量评估与改进系统及方法技术方案

技术编号:40814615 阅读:30 留言:0更新日期:2024-03-28 19:35
本发明专利技术提出了一种数据标注质量评估与改进系统,包括用户数据上传单元、数据清洗单元、数据标注质量评估单元、数据标注质量改进单元和数据标注质量管理单元之间进行数据交互;所述数据标注质量评估单元用于评估数据标注的质量通过采用预设的评估指标,结合标注数据的基础特征和标注人员的权重加值,对标注数据的准确性、一致性和完整性方面进行综合评估,获得评估权重分数;所述数据标注质量改进模块根据评估分数通过预设参数自动对标注数据进行调整和修正,通过聚类和分类算法自动调整标注结果;数据标注质量管理单元根据标注结果进行抽样对比分析,并根据分析结果对标注人员进行评级和排名,并建立标注规范库,对标注规范进行统一管理和更新。

【技术实现步骤摘要】

本专利技术属于数据标注领域,特别涉及一种数据标注质量评估与改进系统及方法


技术介绍

1、目前,数据标注是机器学习和人工智能领域中的重要环节,它涉及将原始数据集进行人工标记或注释,以便用于训练和评估模型。数据标注的质量直接影响到后续模型的训练和应用效果。然而,在实际应用中,由于标注人员的主观因素、标注过程中的误差以及标注规范的不一致等原因,数据标注质量往往难以保证。因此,需要一种能够评估和改进数据标注质量的系统和方法,以提高数据标注的准确性和一致性。

2、目前,数据标注质量评估与改进的方法主要有以下几种:人工审核:传统的方法是通过人工审核来评估数据标注的质量。标注人员需要对标注数据进行逐一审核,检查其准确性和一致性。然而,这种方法耗时且成本较高,且难以保证评估的客观性和一致性。

3、专家评估:另一种方法是通过专家评估来评估数据标注的质量。专家可以根据自己的经验和知识对标注数据进行评估,提供专业的意见和建议。然而,专家资源有限且评估结果可能存在主观性和个体差异性。

4、统计分析:一种常见的方法是通过统计分析来评估数据标注的本文档来自技高网...

【技术保护点】

1.一种数据标注质量评估与改进系统,其特征在于,包括用户数据上传单元、数据清洗单元、数据标注质量评估单元、数据标注质量改进单元和数据标注质量管理单元之间进行数据交互;

2.如权利要求1所述的一种数据标注质量评估与改进系统,其特征在于:所述用户数据上传单元将需要进行标注质量评估与改进的数据上传至数据清洗单元内,用户上传标注数据,通过用户数据上传单元对数据进行预处理,将用户上传数据进行格式转换,转换为数据清洗单元可识别数据格式。

3.如权利要求1所述的一种数据标注质量评估与改进系统,其特征在于:所述数据清洗单元首先对用户数据上传单元发送的数据进行验证,验证数据是否符合...

【技术特征摘要】

1.一种数据标注质量评估与改进系统,其特征在于,包括用户数据上传单元、数据清洗单元、数据标注质量评估单元、数据标注质量改进单元和数据标注质量管理单元之间进行数据交互;

2.如权利要求1所述的一种数据标注质量评估与改进系统,其特征在于:所述用户数据上传单元将需要进行标注质量评估与改进的数据上传至数据清洗单元内,用户上传标注数据,通过用户数据上传单元对数据进行预处理,将用户上传数据进行格式转换,转换为数据清洗单元可识别数据格式。

3.如权利要求1所述的一种数据标注质量评估与改进系统,其特征在于:所述数据清洗单元首先对用户数据上传单元发送的数据进行验证,验证数据是否符合清洗要求格式,若不满足则向用户数据上传单元进行反馈,若满足则对清洗数据进行数据处理。

4.如权利要求3所述的一种数据标注质量评估与改进系统,其特征在于:所述数据清洗单元在进行数据处理时,检查数据中是否存在缺失值,若存在缺失值通过历史数据库进行数据匹配后对缺失值...

【专利技术属性】
技术研发人员:骆靖元王乐曾智
申请(专利权)人:成都市汇众天智科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1