一种数据质量监控方法、装置、电子设备及存储介质制造方法及图纸

本申请中一个或多个实施例提供一种数据质量监控方法、装置、电子设备及存储介质，包括：获取业务数据表；对比业务数据表以确定错误数据表；根据预设时间定期扫描错误数据表以生成数据质量监控报告。本申请采用由宽表的数据和指标表的数据组成的业务数据表进行数据对比的方式，来确定比对结果不一致的错误数据表，定期在集群中自动运行调度并扫描错误数据表，从而生成数据质量监控报告，实现对业务数据表中的海量数据进行数据质量监控的目的，在解决了海量数据质量问题的同时，还能够提升数据对比的效率，在数据量达到一定级别后，依然有足够快的处理速度，对服务器的性能要求较低，满足更广泛的应用场景。满足更广泛的应用场景。满足更广泛的应用场景。

【技术实现步骤摘要】
一种数据质量监控方法、装置、电子设备及存储介质


[0001]本申请中一个或多个实施例涉及数据监控
，尤其涉及一种数据质量监控方法、装置、电子设备及存储介质。

技术介绍

[0002]现有技术中，实现数据质量监控的方案，主要采用传统关系型数据库方式，例如Oracle和MySql的架构，虽然能够解决海量数据的存储，但在海量数据的质量监控以及汇总方面支持有限，基于传统数据库数据质量监控的架构，倾向于数据存储以及复杂的查询，传统数据库虽然能够搭建集群，但是当数据量达到一定的级别之后，会造成查询和处理速度慢，且对服务器的性能要求过高的问题。

技术实现思路

[0003]有鉴于此，本申请中一个或多个实施例的目的在于提出一种数据质量监控方法、装置、电子设备及存储介质，以解决现有技术存在的上述至少一个问题。
[0004]基于上述目的，本申请中一个或多个实施例提供了一种数据质量监控方法，包括：
[0005]获取业务数据表；
[0006]对比所述业务数据表以确定错误数据表；
[0007]根据预设时间定期扫描所述错误数据表以生成数据质量监控报告。
[0008]可选的，所述业务数据表，包括：宽表和指标表；所述指标表是利用业务规则对所述宽表进行计算确定的；
[0009]所述对比所述业务数据表以确定错误数据表，具体包括：
[0010]对比所述宽表中的数据和所述指标表中的数据以确定差异数据；
[0011]根据所述差异数据确定所述错误数据表。
[0012]可选的，所述差异数据，包括：第一差异数据；
[0013]所述对比所述宽表中的数据和所述指标表中的数据以确定差异数据，具体包括：
[0014]获取业务等级；
[0015]根据所述业务等级分别从所述宽表和所述指标表中获取第一比较字段的基础信息和第二比较字段的基础信息；
[0016]比较所述第一比较字段的基础信息和所述第二比较字段的基础信息以确定所述第一差异数据。
[0017]可选的，所述差异数据，包括：第二差异数据；
[0018]利用标识分别关联所述宽表和所述指标表；
[0019]根据所述标识分别从所述宽表和所述指标表中获取第一无逻辑加工数据和第二无逻辑加工数据；
[0020]比较所述第一无逻辑加工数据和所述第二无逻辑加工数据以确定所述第二差异数据。
[0021]可选的，所述差异数据，包括：第三差异数据；
[0022]利用所述业务规则加工所述宽表以获取验证表；
[0023]比较所述验证表和所述指标表以确定所述第三差异数据。
[0024]可选的，所述根据预设时间定期扫描所述错误数据表以生成数据质量监控报告，具体包括：
[0025]根据所述预设时间定期扫描所述错误数据表以确定所述错误数据表中错误数据的数量；
[0026]判断所述错误数据的数量是否达到预设阈值；
[0027]若是，则生成所述数据质量监控报告。
[0028]可选的，所述第一比较字段的基础信息，至少包括：所述第一比较字段的条数和所述第一比较字段的长度；所述第二比较字段的基础信息，至少包括：所述第二比较字段的条数和所述第二比较字段的长度。
[0029]基于同一专利技术构思，本申请中一个或多个实施例还提出了一种数据质量监控装置，包括：
[0030]获取模块，被配置为获取业务数据表；
[0031]对比模块，被配置为对比所述业务数据表以确定错误数据表；
[0032]生成模块，被配置为根据预设时间定期扫描所述错误数据表以生成数据质量监控报告。
[0033]基于同一专利技术构思，本申请中一个或多个实施例还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的数据质量监控方法。
[0034]基于同一专利技术构思，本申请中一个或多个实施例还提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一项所述的数据质量监控方法。
[0035]从上面所述可以看出，本申请中一个或多个实施例提供的一种数据质量监控方法，包括：获取业务数据表；对比业务数据表以确定错误数据表；根据预设时间定期扫描错误数据表以生成数据质量监控报告。本申请采用由宽表的数据和指标表的数据组成的业务数据表进行数据对比的方式，来确定比对结果不一致的错误数据表，定期在集群中自动运行调度并扫描错误数据表，从而生成数据质量监控报告，实现对业务数据表中的海量数据进行数据质量监控的目的，在解决了海量数据质量问题的同时，还能够提升数据对比的效率，和现有技术不同，本申请提供的方法不倾向于数据存储以及复杂的查询，从而在数据量达到一定级别后，依然有足够快的处理速度，对服务器的性能要求较低，满足更广泛的应用场景。
附图说明
[0036]为了更清楚地说明本申请中一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为本申请中一个或多个实施例中一种数据质量监控方法的流程图；
[0038]图2为本申请中一个或多个实施例中一种数据质量监控装置的结构示意图；
[0039]图3为本申请中一个或多个实施例中一种电子设备的结构示意图。
具体实施方式
[0040]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0041]需要说明的是，除非另外定义，本申请中一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本申请中一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0042]如
技术介绍
部分所述，申请人通过研究发现现有技术中，实现数据质量监控的方案，主要采用传统关系型数据库方式，例如Oracle和MySql的架构，虽然能够解决海量数据的存储，但在海量数据的质量监控以及汇总方面支持有限，基于传统数据库数据质量监控的架构，倾向于数据存储以及复杂的查询，传统数据库虽然能够搭建集群，但是当数据量达到一定的级别之后，会造成查询和处理速度慢，且对服务器的性能要求过高的问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量监控方法，其特征在于，包括：获取业务数据表；对比所述业务数据表以确定错误数据表；根据预设时间定期扫描所述错误数据表以生成数据质量监控报告。2.根据权利要求1所述的数据质量监控方法，其特征在于，所述业务数据表，包括：宽表和指标表；所述指标表是利用业务规则对所述宽表进行计算确定的；所述对比所述业务数据表以确定错误数据表，具体包括：对比所述宽表中的数据和所述指标表中的数据以确定差异数据；根据所述差异数据确定所述错误数据表。3.根据权利要求2所述的数据质量监控方法，其特征在于，所述差异数据，包括：第一差异数据；所述对比所述宽表中的数据和所述指标表中的数据以确定差异数据，具体包括：获取业务等级；根据所述业务等级分别从所述宽表和所述指标表中获取第一比较字段的基础信息和第二比较字段的基础信息；比较所述第一比较字段的基础信息和所述第二比较字段的基础信息以确定所述第一差异数据。4.根据权利要求2所述的数据质量监控方法，其特征在于，所述差异数据，包括：第二差异数据；利用标识分别关联所述宽表和所述指标表；根据所述标识分别从所述宽表和所述指标表中获取第一无逻辑加工数据和第二无逻辑加工数据；比较所述第一无逻辑加工数据和所述第二无逻辑加工数据以确定所述第二差异数据。5.根据权利要求2所述的数据质量监控方法，其特征在于，所述差异数据，包括：第三差异数据；利用所述...

【专利技术属性】
技术研发人员：马德民，范铮，曹飞，曲明钰，赵星光，陆智卿，赵振邦，
申请(专利权)人：中国人寿保险股份有限公司，
类型：发明
国别省市：