数据质量监控方法及装置制造方法及图纸

本申请实施例提供了一种数据质量监控方法及装置，包括：获取至少一个数据表；确定数据表中未配置有通用监控规则的目标数据表；针对目标数据表，获取通用监控规则对应的规则配置参数；根据规则配置参数和预设的批量配置接口，为每个目标数据表配置通用监控规则；根据通用监控规则，对目标数据表的内容进行监控。本申请中，整个配置过程可以减少用户参与，达到提高配置效率的目的；并达到了对所有数据表自动批量化配置通用监控规则的目的，能够提高监控过程的监控质量，降低因通用监控规则遗漏而带来的问题。而带来的问题。而带来的问题。

【技术实现步骤摘要】
数据质量监控方法及装置


[0001]本申请涉及计算机
，特别是涉及一种数据质量监控方法及装置。

技术介绍

[0002]数据质量管理(DQM，Data Quality Management)是指对在数据的生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动。
[0003]目前，对于数据的质量管理，可以通过为数据对应的数据表指定对应的监控规则，并在数据表中的内容不符合监控规则的情况下，执行相应的告警操作。具体的，针对多个不同的服务方，会产生多个不同的数据表，目前采用通过相应的配置界面，由管理人员依据需求依次为每个数据表手动选取对应的监控规则，完成对每个数据表的监控规则配置。
[0004]但是，目前的方案中，由人工对每个数据表进行监控规则配置，会产生大量的配置步骤，导致配置效率低下，另外，人工配置过于依赖经验值，使得重要监控规则遗漏的几率较大，降低了质量监控效果。

技术实现思路

[0005]本申请实施例提供了一种数据质量监控方法，以在提高大批量数据表的监控规则配置效率的基础上，进一步降低重要监控规则的遗漏几率，提高质量监控效果。
[0006]相应的，本申请实施例还提供了一种数据质量监控装置、电子设备以及存储介质，用以保证上述方法的实现及应用。
[0007]为了解决上述问题，本申请实施例公开了一种数据质量监控方法，所述方法包括：
[0008]获取至少一个数据表；
[0009]确定所述数据表中未配置有通用监控规则的目标数据表；
[0010]针对所述目标数据表，获取所述通用监控规则对应的规则配置参数；
[0011]根据所述规则配置参数和预设的批量配置接口，为所述目标数据表配置所述通用监控规则；
[0012]根据所述通用监控规则，对所述目标数据表的内容进行监控。
[0013]本申请实施例还公开了一种数据质量监控装置，所述装置包括：
[0014]第一获取模块，用于获取至少一个数据表；
[0015]确定模块，用于确定所述数据表中未配置有通用监控规则的目标数据表；
[0016]第二获取模块，用于针对所述目标数据表，获取所述通用监控规则对应的规则配置参数；
[0017]配置模块，用于根据所述规则配置参数和预设的批量配置接口，为所述目标数据表配置所述通用监控规则；
[0018]监控模块，用于根据所述通用监控规则，对所述目标数据表的内容进行监控。
[0019]本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个
所述的方法。
[0020]本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。
[0021]与现有技术相比，本申请实施例包括以下优点：
[0022]本申请实施例通过对所有未配置有通用监控规则的目标数据表，基于规则配置参数和预设的批量配置接口，为每个目标数据表配置所述通用监控规则，整个配置过程可以减少用户参与，达到提高配置效率的目的；配置完成后，根据通用监控规则，对目标数据表的内容进行监控，从而达到了对所有数据表自动批量化配置通用监控规则的目的，能够提高监控过程的监控质量，降低因通用监控规则遗漏而带来的问题。另外，由于降低了用户的参与度，因此也降低了对配置服务的前后端开发量，实现轻量化的批量自动化通用监控规则的配置能力。
附图说明
[0023]图1是本申请实施例的一种数据质量监控系统的架构图；
[0024]图2是本申请的一种数据质量监控方法的步骤流程图；
[0025]图3是本申请的一种数据质量监控方法的具体步骤示意图；
[0026]图4是本申请的一种数据质量监控的交互场景结构图；
[0027]图5是本申请的一种数据质量监控装置实施例的结构框图；
[0028]图6是本申请一实施例提供的装置的结构示意图。
具体实施方式
[0029]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0030]参照图1，其示出了本申请实施例提供的一种数据质量监控方法的系统架构图，包括：服务方服务端、数据仓库、质量监控服务端和客户端。
[0031]其中，服务方服务端可以为服务方用于提供服务的服务端，服务方服务端在服务的生命周期内可以产生服务数据，服务数据可以实时或定时上传至数据仓库，也可以由数据仓库实时或定时请求获得。
[0032]例如，物流收单服务端可以用于对快递包裹的揽货入仓环节产生的数据进行处理，其生成的服务数据包括但不限于包裹的标识、包裹的入库时间、包裹的存储仓位、入库包裹的数量；物流配送服务端可以用于对快递包裹的配送环节产生的数据进行处理，其生成的服务数据包括但不限于包裹的标识、包裹的出库时间、包裹的签收时间、包裹的配送地址、签收的包裹的数量；线上商城服务端可以用于对线上商城销售商品产生的数据进行处理，其生成的服务数据包括但不限于日销售商品数量、日新增销售商品量、促销产品标识。
[0033]数据仓库(DW，Data Warehouse)是一种分析应用数据源的结构化服务端数据的环境。数据仓库用于研究和解决从服务方服务端中获取的服务数据的问题，具体的，数据仓库可以对服务方服务端提供的服务数据进行分析处理，得到对应的数据表以及数据表的元数据，并将数据表和元数据提供给质量监控服务端，分析处理包括但不限于对服务数据中的无价值数据进行筛除，对有价值数据按照数据表格式进行统计。
[0034]需要说明的是，服务方服务端在提供服务的整个过程中会不断产生针对一数据表的新的服务数据，则数据仓库会在整个过程都保持与服务方服务端的数据交互，并不断用新的服务数据更新数据表，保证数据表的时效性。
[0035]元数据是用于描述数据表的数据属性的数据，一个数据表具有的一个元数据可以是数据资产等级，数据资产等级是根据数据的完整性、准确性、一致性、及时性对服务的影响程度进行划分的等级。例如，
[0036]数据资产等级为A1代表毁灭性质：即服务数据一旦出错，将会引起重大资产损失，面临重大收益损失等。
[0037]数据资产等级为A2代表全局性质：即服务端数据直接或间接用于企业级服务、效果评估和重要决策等。
[0038]数据资产等级为A3代表局部性质：即服务端数据直接或间接用于某些服务的运营、报告等，如果出现问题会给服务造成一定的影响或造成工作效率降低。
[0039]数据资产等级为A4代表一般性质：即服务数据主要用于日常数据分析，出现问题带来的影响极小。
[0040]质量监控服务端用于获取数据仓库生成的数据表，并未数据表建立具有对应规则配置参数的监控规则，并按照监控规则，对数据表的内容进行监控，在数据表的内容不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量监控方法，其特征在于，所述方法包括：获取至少一个数据表；确定所述数据表中未配置有通用监控规则的目标数据表；针对所述目标数据表，获取所述通用监控规则对应的规则配置参数；根据所述规则配置参数和预设的批量配置接口，为所述目标数据表配置所述通用监控规则；根据所述通用监控规则，对所述目标数据表的内容进行监控。2.根据权利要求1所述的方法，其特征在于，所述通用监控规则包括：主键字段唯一规则、数据波动规则其中至少一项；其中，对应所述主键字段唯一规则的规则配置参数包括：主键字段；所述主键字段唯一规则用于，在所述目标数据表中的主键字段对应的数据内容不唯一的情况下，执行主键告警操作；其中，对应所述数据波动规则的规则配置参数包括：波动条件的波动参数；所述数据波动规则用于，在所述目标数据表中的数据内容不符合具有所述波动参数的所述波动条件的情况下，执行波动告警操作。3.根据权利要求2所述的方法，其特征在于，在所述通用监控规则包括主键字段唯一规则的情况下，所述获取所述监控规则对应的规则配置参数的步骤，包括：从所述数据表的所有字段中，确定所述主键字段；所述根据所述配置参数和预设的批量配置接口，为每个所述目标数据表配置所述监控规则，包括：根据所述主键字段和预设的批量配置接口，为每个所述目标数据表配置所述主键字段唯一规则。4.根据权利要求3所述的方法，其特征在于，所述从所述数据表的所有字段中，确定所述主键字段，包括：向所述目标数据表对应的客户端发送主键配置通知，以供所述客户端根据所述主键配置通知设置主键字段；接收所述客户端发送的主键字段。5.根据权利要求3所述的方法，其特征在于，所述从所述数据表的字段中，确定所有所述标识中的主键字段，包括：确定所述目标数据表的应用场景类型；根据预设的应用场景类型与主键字段的对应关系，确定所述目标数据表的主键字段。6.根据权利要求2所述的方法，其特征在于，在所述通用监控规则包括数据波动规则的情况下，所述获取所述监控规则对应的规则配置参数的步骤，包括：获取所述目标数据表对应的历史数据内容；根据所述历史数据内容，确定所述波动条件和所述波动参数；所述根据所述配置参数和预设的批量配置接口，为每个所述目标数据表配置所述监控规则，包括：根据所述波动条件、所述波动参数和预设的批量配置接口，为每个所述目标数据表配置所述数据波动规则。
7.根据权利要求6所述的方法，其特征在于，所述获取所述目标数据表对应的历史数据内容，包括：获取多个历史时间区间，以及针对每个所述历史时间区间所述目标数据表对应的历史数据内容；所述根据所述历史数据内容，确定所述波动条件和所述波动参数，包括：根据多个所述历史时间区间的历史数据内容的部分或者全部，确定相应历史时间区间的数据波动范围；根据部分或者全部所述数据波动范围，确定所述波动条件的目标数据波动范围。8.根据权利要求7所述的方法，其特征在于，所述根据多个所述历史时间区间的历史数据内容的部分或者全部，确定相应历史时间区间的数据波动范围，包括：将部分或者全部所述历史时间区间和对应的历史数据量，输入预设的波动预测模型，获得所述波动数据范围。9.根据权利要求1所述的方法，其特征在于，还包括：根据所述通用监控规则，在预运行环境中，对所述目标数据表的内容进行监控；所述根据所述通用监控规则，对所述目标数据表的内容进行监控，包括：根据所述通用监控规则，在线上运行环境中，对所述目标数据表的内容进行监控。10.根据权利要求9所述的方法，其特征在于，还包括：在所述预运行环境中的监控结果为未执行告警操作的情况下，将所述通用监控规则设置为强任务类型；所述根据所述通用监控规则，在线上运行环境中，对所述目标数据表的内容进行监控，包括：根据所述强任务类型的通用监控规则，在线上运行环境中，对所述目标数据表的内容进行监控。11.根据权利要求10所述的方法，其特征在于，还包括：在所述预运行环境中的监控结果为执行告警操作的情况下，将所述通用监控规则设置为弱任务类型；根据所述弱任务规则类型，向所述目标数据表对应的客户端发送修正通知，以供所述客户端根据所述修正通知对所述目标数据表修正；在接收到所述客户端返回的修正后的目标数据表的情况下，执行根据所述通用监控规则，在预运行环境中，对所述目标数据表的内容进行监控的步骤。12.根据权利要求10所述的方法，其特征在于，还包括：在所述通用监控规则为所述强任务类型，且在所述线上运行环境中的监控结果为执行告警操作的情况下，将所述目标数据表对应的数据处理任务阻塞。13.根据权利要求1所述的方法，其特征在于，还包括：筛除所有所述数据表中不符合预设数据价值规则的数据表。14.根据权利要求13所述的方法，其特征在于，所述数据表具有对应的数据资产等级、数据影响力参数、具有对应的应用场景类型、具有对应的下游产业数量其中至少一种；所述筛除所有所述数据表中不符合预设数据价值规则的数据表，包括：筛除所有所述数据表中，所述数据资产等级小于预设等级阈值；
和/或，筛除所有所述数据表中，所述数据影响力参数小于预设参数阈值的数据表；和/或，筛除所有所述数据表中，所述应用场景类型不属于预设应用场景类型的数据表；和/或，筛除所有所述数据表中，所述下游产业数量小于预设数量阈值数据表。15.根据权利要求1所述的方法，其特征在于，还包括：根据所述数据表的应用场景类型，确定适配所述数据表的个性化监控规则。16.根据权利要求15所述的方法，其特征在于，还包括向所述数据表对应的客户端发送个性化监控规则的选择通知，以供所述客户端根据所述选择通知设置个性化监控规则。17.根据权利要求1所述的方法，其特征在于，还包括：接收规则调整端针对所述通用规则中至少一项目标规则所发送的规则调整请求；所述规则调整请求包括：目标规则的目标规则标识，以及规则调整端的权限信息；在所述规则调整端的权限信息表示具有调整所述目标规则的权限的情况下，根据所述目标规则标识，对所述目标规则进行调整。18.根据权利要求1所述的方法，其特征在于，还包括：根据对所述目标数据表的内容进行监控所获得的监控结果，确定所述监控结果所对应的监控端；将所述监控结果向所述监控端进行发送。19.根据权利要求1所述的方法，其特征在于，在所述根据所述通用监控规则，对所述目标数据表的内容进行监控之后，还包括：根据对所述目标数据表的内容进行监控所获得的监控结果，确定所述监控结果所对应的展示方式，以供所述监控端按照所述展示方式展示所述监控结果；所述方法还包括：接收展示方式调整请求；根据所述展示方式调整请求，调整所述监控结果的展示方式。20.根据权利要求1至19任一项所述的方法，其特征在于，所述数据表包括：物流数据表、应用流量数据表其中至少一种。21.一种数据质量监控装置，其特征在于，所述装置包括：第一获取模块，用于获取至少一个数据表；确定模块，用于确定所述数据表中未配置有通用监控规则的目标数据表；第二获取模块，用于针对所述目标数据表，获取...

【专利技术属性】
技术研发人员：贾书娴，
申请(专利权)人：菜鸟智能物流控股有限公司，
类型：发明
国别省市：