【技术实现步骤摘要】
本专利技术涉及数据管理,具体地说是数据质量管理方法及系统。
技术介绍
1、随着大数据时代的到来,互联网应用形态从消费延伸至产业,各类智能设备越来越普及且物联网应用愈加广泛深入,使得各行业数据量呈爆炸式增长。数据服务应运而生,通过采集汇聚业务数据,对各种数据的分析和挖掘,能够为用户提供更加精准、个性化的服务体验。企业可以通过数据服务获取市场趋势、用户行为等关键信息,从而做出更加明智的决策。然而数据量巨增的同时也带来数据质量管理的挑战。在数据服务实施过程中,数据质量将直接影响数据的价值、数据分析预测的准确性,对于支持决策、驱动创新和优化工艺提高竞争力至关重要。
2、数据质量管理是一个复杂而持续的过程,需要采取多种措施来确保数据质量。然而传统的数据质量管理方法难以应对日益增长的数据源和数据量,且当前数据需求变得更加实时和复杂多样,需要从业务、技术、监控、工具等多方面入手,不断提升数据质量管理水平,才能为业务决策和运营提供可靠的数据支持。
3、如何提高数据质量管理效果、提高数据服务的质量,是需要解决的技术问题。
< ...【技术保护点】
1.一种数据质量管理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的数据质量管理方法,其特征在于,基于业务需求、数据特征、数据质量维度、技术因素、组织与文化因素以及其他因素构建质量检测规则;
3.根据权利要求1所述的数据质量管理方法,其特征在于,预处理包括重复值取最新数据、数据失效标记、数据差异标记、异常值标记、数据冗余删除以及时间戳异常标记。
4.根据权利要求1所述的数据质量管理方法,其特征在于,数据治理质量管控时,调整优化质量检测规则包括包括修改规则逻辑、调整阈值以及增加新规则。
5.根据权利要求1所述的数
...【技术特征摘要】
1.一种数据质量管理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的数据质量管理方法,其特征在于,基于业务需求、数据特征、数据质量维度、技术因素、组织与文化因素以及其他因素构建质量检测规则;
3.根据权利要求1所述的数据质量管理方法,其特征在于,预处理包括重复值取最新数据、数据失效标记、数据差异标记、异常值标记、数据冗余删除以及时间戳异常标记。
4.根据权利要求1所述的数据质量管理方法,其特征在于,数据治理质量管控时,调整优化质量检测规则包括包括修改规则逻辑、调整阈值以及增加新规则。
5.根据权利要求1所述的数据质量管理方法,其特征在于,数据质量问题反馈机制提供告警通知服务和问题报告服务,问题报告服务通过数据质量评价服务支持用户对数据质量进行评价、形成用户的数据问题报告率,告警通知服务提供如下操作:向相关人员推送用户的数据问题报告率,支持相关人员根据用户的数据问题报告率评估数据质量、并改进数据采集质量检测和数据集成预处理操作。
6.一种数据质量管理系统,其特征在于,用于通过如权利要求1-5任一项所述的一种数据质量管...
【专利技术属性】
技术研发人员:边旭霞,
申请(专利权)人:上海沄熹科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。