【技术实现步骤摘要】
基于数据质量体系的数据质量验证监控及预警方法和系统
本专利技术涉及计算机领域，更具体地，涉及一种基于数据质量体系的数据质量验证监控及预警方法和系统。
技术介绍
大数据时代的到来，带给企业很多的数据资产，企业需要在众多数据中找到真正的有效数据来进行分析和数据挖掘。目前现有技术主要存在以下问题：1、由于企业数据来自不同的业务系统，上游数据源数据出现异常，例如爬虫数据出现结构变化，爬虫失败等导致下游数据错误；2、在建立数据仓库中元数据缺乏有效管理，导致数据的易读性很差，不能最大能力发挥元数据的功能性；3、数据表中数据质量存在问题，主要突出表现在以下几种：1)数据缺乏有效的主键，导致数据出现重复；2)数据不符合标准数据类型；3)数据不符合标准数据业务规则；4)数据表主要指标异常；4、企业没有有效的对数据仓库进行有效的监控和预警，数据开发人员不能快速的了解目前数据的情况，数据异常得不到及时通知，引起下游相关引用该数据出现问题，给数据分析和决策人员带来错误的指导。<...
【技术保护点】
1.一种基于数据质量体系的数据质量验证监控及预警方法，其特征在于，包括步骤：/n同步源数据至数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；/n对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第一数据；/n根据数据质量体系规则对所述第一数据进行处理得到第二数据，包括：/n获取所述第一数据的数据类型和/或属性；/n根据所述第一数据的数据类型和/或属性配置检测规则组合，其中所述配置检测规则组合至少包括一个检测规则；/n根据所述规则组合对所述第一数据进行质量检测得到第二数据发送至目的端；...
【技术特征摘要】
1.一种基于数据质量体系的数据质量验证监控及预警方法，其特征在于，包括步骤：
同步源数据至数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；
对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第一数据；
根据数据质量体系规则对所述第一数据进行处理得到第二数据，包括：
获取所述第一数据的数据类型和/或属性；
根据所述第一数据的数据类型和/或属性配置检测规则组合，其中所述配置检测规则组合至少包括一个检测规则；
根据所述规则组合对所述第一数据进行质量检测得到第二数据发送至目的端；
生成可视化预警报表，对所述第二数据进行可视化，突出显示异常的数据库表。
2.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，所述检测规则组合用于检测所述第一数据的完整性、一致性、准确性和及时性，其中，
所述完整性是检查所述第一数据的记录和信息是否完整，是否存在缺失的情况；
所述一致性是检查所述第一数据的记录是否符合规范，是否与先后及其它数据集保持统一；
所述准确性是检查所述第一数据是否准确，是否存在异常或错误信息；
所述及时性是检查所述第一数据从产生到可以查看的时间间隔。
3.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，所述检测规则组合包括：主键检查、代码标准检查和业务规则检查。
4.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，还包括设定所述数据质量体系规则验证的自动执行频率，所述自动执行频率包括日执行、周执行、和/或月执行。
5.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，还包括在配置表中设置人员管理，将所述可视化预警报表中的异常的数据库表发送至所述人员。
6.一种基于数据质量体系的数据质量验证监控及预警系统，其特征在于，包括源数据标准化处理模块、数据仓库元数据管理模块、数据质量体系规则验证模块、以及可视化预警报表生成模块，其中，
所述源数据标准化处理模块与所述数据仓库元数据管理模块相耦接，用于...
【专利技术属性】
技术研发人员：李松前，李昭，陈浩，高靖，崔岩，卢述奇，陈呈，张宵，
申请(专利权)人：青梧桐有限责任公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。