数据质量管理方法及系统技术方案

技术编号:44733261 阅读:23 留言:0更新日期:2025-03-21 17:58
本发明专利技术公开了数据质量管理方法及系统,属于数据管理技术领域,要解决的技术问题为:如何提高数据质量管理效果、提高数据服务的质量。包括如下步骤:在数据采集时,通过对应的质量检测规则进行质量检测,根据初始数据质量检测评估结果进行数据分区和数据标注;根据初始数据质量检测评估结果对待使用数据分区的数据进行对应的预处理;根据数据预处理结果评估数据质量,得到评估结果,并根据评估结果调整优化质量检测规则;通过数据质量评价服务支持用户对数据质量进行评价、形成用户的数据问题报告率,根据用户的数据问题报告率评估数据质量、并改进数据采集质量检测和数据集成预处理操作。

【技术实现步骤摘要】

本专利技术涉及数据管理,具体地说是数据质量管理方法及系统


技术介绍

1、随着大数据时代的到来,互联网应用形态从消费延伸至产业,各类智能设备越来越普及且物联网应用愈加广泛深入,使得各行业数据量呈爆炸式增长。数据服务应运而生,通过采集汇聚业务数据,对各种数据的分析和挖掘,能够为用户提供更加精准、个性化的服务体验。企业可以通过数据服务获取市场趋势、用户行为等关键信息,从而做出更加明智的决策。然而数据量巨增的同时也带来数据质量管理的挑战。在数据服务实施过程中,数据质量将直接影响数据的价值、数据分析预测的准确性,对于支持决策、驱动创新和优化工艺提高竞争力至关重要。

2、数据质量管理是一个复杂而持续的过程,需要采取多种措施来确保数据质量。然而传统的数据质量管理方法难以应对日益增长的数据源和数据量,且当前数据需求变得更加实时和复杂多样,需要从业务、技术、监控、工具等多方面入手,不断提升数据质量管理水平,才能为业务决策和运营提供可靠的数据支持。

3、如何提高数据质量管理效果、提高数据服务的质量,是需要解决的技术问题。

<br/>

本文档来自技高网...

【技术保护点】

1.一种数据质量管理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的数据质量管理方法,其特征在于,基于业务需求、数据特征、数据质量维度、技术因素、组织与文化因素以及其他因素构建质量检测规则;

3.根据权利要求1所述的数据质量管理方法,其特征在于,预处理包括重复值取最新数据、数据失效标记、数据差异标记、异常值标记、数据冗余删除以及时间戳异常标记。

4.根据权利要求1所述的数据质量管理方法,其特征在于,数据治理质量管控时,调整优化质量检测规则包括包括修改规则逻辑、调整阈值以及增加新规则。

5.根据权利要求1所述的数据质量管理方法,其特...

【技术特征摘要】

1.一种数据质量管理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的数据质量管理方法,其特征在于,基于业务需求、数据特征、数据质量维度、技术因素、组织与文化因素以及其他因素构建质量检测规则;

3.根据权利要求1所述的数据质量管理方法,其特征在于,预处理包括重复值取最新数据、数据失效标记、数据差异标记、异常值标记、数据冗余删除以及时间戳异常标记。

4.根据权利要求1所述的数据质量管理方法,其特征在于,数据治理质量管控时,调整优化质量检测规则包括包括修改规则逻辑、调整阈值以及增加新规则。

5.根据权利要求1所述的数据质量管理方法,其特征在于,数据质量问题反馈机制提供告警通知服务和问题报告服务,问题报告服务通过数据质量评价服务支持用户对数据质量进行评价、形成用户的数据问题报告率,告警通知服务提供如下操作:向相关人员推送用户的数据问题报告率,支持相关人员根据用户的数据问题报告率评估数据质量、并改进数据采集质量检测和数据集成预处理操作。

6.一种数据质量管理系统,其特征在于,用于通过如权利要求1-5任一项所述的一种数据质量管...

【专利技术属性】
技术研发人员:边旭霞
申请(专利权)人:上海沄熹科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1