数据质量监控方法、装置、系统、电子装置和存储介质制造方法及图纸

本申请涉及一种数据质量监控方法、装置、系统、电子装置和存储介质，其中，该数据质量监控方法包括：获取配置信息；所述配置信息包括自定义校验规则；根据所述配置信息，生成SQL命令和HTTP接口请求；执行所述SQL命令和所述HTTP接口请求，以从目标数据库中获取待检测数据，得到执行结果；根据所述自定义校验规则，对所述待检测数据进行校验，得到校验结果；根据所述校验结果和所述执行结果进行异常告警。通过本申请，解决了相关技术中，无法有效监控异常数据的问题。常数据的问题。常数据的问题。

【技术实现步骤摘要】
数据质量监控方法、装置、系统、电子装置和存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据质量监控方法、装置、系统、电子装置和存储介质。

技术介绍

[0002]当前，很多公司的数据团队每天有上亿数据产出，但是却没有一个数据准确性较高以及比较系统的数据监控与服务平台，这会导致产出的数据可能因计算逻辑以及系统等问题出现差错，当下游企业使用了这些错误的数据后，会对下游企业的决策产生不良影响，从而造成下游企业的巨大经济损失。
[0003]在相关技术中，通过固定设置的数据校验规则进行数据质量监控，然而，由于不同公司产出的数据的类型以及内容具有很大的差别，因此通过固定设置的数据校验规则无法适用于所有的数据，这会导致校验结果存在巨大误差。
[0004]目前针对相关技术中，无法有效监控异常数据的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种数据质量监控方法、装置、系统、电子装置和存储介质，以至少解决相关技术中无法有效监控异常数据的问题。
[0006]第一方面，本申请实施例提供了一种数据质量监控方法，包括：
[0007]获取配置信息；所述配置信息包括自定义校验规则；
[0008]根据所述配置信息，生成SQL命令和HTTP接口请求；
[0009]执行所述SQL命令和所述HTTP接口请求，以从目标数据库中获取待检测数据，得到执行结果；
[0010]根据所述自定义校验规则，对所述待检测数据进行校验，得到校验结果；
>[0011]根据所述校验结果和所述执行结果进行异常告警。
[0012]在其中一些实施例中，所述配置信息还包括自定义执行时间；所述方法还包括：
[0013]获取当前时间，并判断所述当前时间是否为所述自定义执行时间；
[0014]若所述当前时间为所述自定义执行时间，则根据所述自定义校验规则，对所述待检测数据进行校验，得到校验结果。
[0015]在其中一些实施例中，所述自定义校验规则中的阈值参数包括常规阈值、同比阈值和环比阈值，其中：
[0016]所述常规阈值包括日常规阈值、周常规阈值和月常规阈值中的至少之一；
[0017]所述同比阈值包括日同比阈值、周同比阈值和月同比阈值中的至少之一；
[0018]所述环比阈值包括日环比阈值、周环比阈值和月环比阈值中的至少之一。
[0019]在其中一些实施例中，所述配置信息还包括自定义配置规则、配置参数和固定参数；所述根据所述配置信息，生成SQL命令和HTTP接口请求包括：
[0020]根据所述自定义配置规则和所述配置参数，生成所述SQL命令；
[0021]根据所述固定参数，生成所述HTTP接口请求。
[0022]在其中一些实施例中，所述自定义配置规则包括高级配置规则和页面普通配置规则，其中：
[0023]若所述自定义配置规则为所述高级配置规则，则所述配置参数还包括SQL数据包以及所述SQL数据包中的指定参数；
[0024]若所述自定义配置规则为所述页面普通配置规则，则所述配置参数包括模块配置、指标配置和规则配置。
[0025]在其中一些实施例中，所述配置的方式为所述高级配置方式；所述根据所述自定义配置规则和所述配置参数，生成所述SQL命令包括：
[0026]对所述SQL数据包中的指定参数进行替换，以生成可执行的SQL命令。
[0027]在其中一些实施例中，所述配置的方式为所述页面普通配置方式；所述根据所述自定义配置规则和所述配置参数，生成所述SQL命令包括：
[0028]根据所述模块配置、所述指标配置和所述规则配置中的勾选项，生成可执行的SQL命令。
[0029]在其中一些实施例中，所述配置信息还包括自定义预警规则；所述根据所述校验结果和所述执行结果进行异常告警包括：
[0030]根据所述自定义预警规则、所述校验结果和所述执行结果进行异常告警。
[0031]在其中一些实施例中，所述自定义预警规则的数量为多个；所述自定义预警规则包括多种异常告警模式，所述异常告警模式包括日常告警模式和紧急告警模式。
[0032]第二方面，本申请实施例提供了一种数据质量监控装置，包括：
[0033]获取模块，用于获取配置信息；所述配置信息包括自定义校验规则；
[0034]生成模块，用于根据所述配置信息，生成SQL命令和HTTP接口请求
[0035]执行模块，用于执行所述SQL命令和所述HTTP接口请求，以从目标数据库中获取待检测数据，得到执行结果；
[0036]校验模块，用于根据所述自定义校验规则，对所述待检测数据进行校验，得到校验结果；
[0037]告警模块，用于根据所述校验结果和所述执行结果进行异常告警。
[0038]第三方面，本申请实施例提供了一种数据质量监控系统，包括：用户端、数据门户、LDAP、监控平台、系统数据库和目标数据库；其中：
[0039]所述LDAP通过所述数据门户与所述用户端连接，用于对所述用户端发送的登录信息进行认证；
[0040]所述系统数据库，用于存储配置信息、执行结果和校验结果；
[0041]所述目标数据库，用于接收所述监控平台发送的SQL命令和HTTP接口请求，并将待检测数据发送至所述监控平台；
[0042]所述监控平台用于执行如权利要求1至9中任一项所述的数据质量监控方法。
[0043]第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据质量监控方法。
[0044]第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被
处理器执行时实现如上述第一方面所述的数据质量监控方法。
[0045]相比于相关技术，本申请实施例提供的数据质量监控方法、装置、系统、电子装置和存储介质，通过获取配置信息；配置信息包括自定义校验规则；根据配置信息，生成SQL命令和HTTP接口请求；执行SQL命令和HTTP接口请求，以从目标数据库中获取待检测数据，得到执行结果；根据自定义校验规则，对待检测数据进行校验，得到校验结果；根据校验结果和执行结果进行异常告警，解决了相关技术中无法有效监控异常数据的问题。
[0046]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0047]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0048]图1为本申请实施例的数据质量监控方法的流程图；
[0049]图2为本申请实施例中根据配置信息生成SQL命令和HTTP接口请求的流程图；
[0050]图3为本申请优选实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量监控方法，其特征在于，包括：获取配置信息；所述配置信息包括自定义校验规则；根据所述配置信息，生成SQL命令和HTTP接口请求；执行所述SQL命令和所述HTTP接口请求，以从目标数据库中获取待检测数据，得到执行结果；根据所述自定义校验规则，对所述待检测数据进行校验，得到校验结果；根据所述校验结果和所述执行结果进行异常告警。2.根据权利要求1所述的数据质量监控方法，其特征在于，所述配置信息还包括自定义执行时间；所述方法还包括：获取当前时间，并判断所述当前时间是否为所述自定义执行时间；若所述当前时间为所述自定义执行时间，则根据所述自定义校验规则，对所述待检测数据进行校验，得到校验结果。3.根据权利要求1所述的数据质量监控方法，其特征在于，所述自定义校验规则中的阈值参数包括常规阈值、同比阈值和环比阈值，其中：所述常规阈值包括日常规阈值、周常规阈值和月常规阈值中的至少之一；所述同比阈值包括日同比阈值、周同比阈值和月同比阈值中的至少之一；所述环比阈值包括日环比阈值、周环比阈值和月环比阈值中的至少之一。4.根据权利要求1所述的数据质量监控方法，其特征在于，所述配置信息还包括自定义配置规则、配置参数和固定参数；所述根据所述配置信息，生成SQL命令和HTTP接口请求包括：根据所述自定义配置规则和所述配置参数，生成所述SQL命令；根据所述固定参数，生成所述HTTP接口请求。5.根据权利要求4所述的数据质量监控方法，其特征在于，所述自定义配置规则包括高级配置规则和页面普通配置规则，其中：若所述自定义配置规则为所述高级配置规则，则所述配置参数还包括SQL数据包以及所述SQL数据包中的指定参数；若所述自定义配置规则为所述页面普通配置规则，则所述配置参数包括模块配置、指标配置和规则配置。6.根据权利要求5所述的数据质量监控方法，其特征在于，所述配置的方式为所述高级配置方式；所述根据所述自定义配置规则和所述配置参数，生成所述SQL命令包括：对所述SQL数据包中的指定参数进行替换，以生成可执行的SQL命令。7.根据权利要求5所述的数据质量监控方...

【专利技术属性】
技术研发人员：童跃刚，
申请(专利权)人：杭州小电科技股份有限公司，
类型：发明
国别省市：