业务数据质量监控方法技术

本发明专利技术提供一种业务数据质量监控方法

【技术实现步骤摘要】
业务数据质量监控方法、系统、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种业务数据质量监控方法
、
系统
、
电子设备及存储介质
。

技术介绍

[0002]相关技术中，进行不同业务数据质量监控的方法主要包括：依赖人工根据业务数据的场景需求逐个对不同业务数据进行质量监控
。
[0003]而在不同业务系统以及业务场景下涉及的业务数据较多，仅依靠人工对业务数据手动进行一一监控，需要消耗大量的时间成本和人力成本且容易出错
。

技术实现思路

[0004]本专利技术提供一种业务数据质量监控方法
、
系统
、
电子设备及存储介质，用以解决现有技术中人工对不同业务数据一一进行质量监控，需要消耗大量的时间成本和人力成本且容易出错的缺陷，实现快速准确地对业务数据进行质量监控
。
[0005]本专利技术提供一种业务数据质量监控方法，包括：
[0006]响应于业务系统集群中目标功能模块发送的数据质量监控指令，获取所述目标功能模块输出的待监控业务数据；
[0007]根据所述待监控业务数据的流转记录和数据特征，在数据映射存储模型存储的业务数据集合中，确定至少一个目标业务数据；
[0008]根据各所述目标业务数据的数据特征和所述待监控业务数据的数据特征，生成所述待监控业务数据对应的质量监控指标；
[0009]根据所述质量监控指标，对所述待监控业务数据进行数据质量监控
。
[0010]根据本专利技术提供的一种业务数据质量监控方法，所述业务数据集合包括多个第一候选业务数据和多个第二候选业务数据；
[0011]所述第一候选业务数据为所述业务系统集群中各原始功能模块输出的业务数据，所述原始功能模块为除所述目标功能模块之外的功能模块；
[0012]所述第二候选业务数据为从数据关系配置指令中解析得到的业务数据，所述数据关系配置指令是从除所述业务系统集群之外的其他设备端接收到的；
[0013]所述数据映射存储模型还包括：各所述第一候选业务数据与各所述第一候选业务数据的流转记录和数据特征之间的数据关系，以及各所述第二候选业务数据与各所述第二候选业务数据的流转记录和数据特征之间的数据关系
。
[0014]根据本专利技术提供的一种业务数据质量监控方法，所述根据所述待监控业务数据的流转记录和数据特征，在数据映射存储模型存储的业务数据集合中，确定至少一个目标业务数据，包括：
[0015]在所述数据映射存储模型中，获取各所述第一候选业务数据的流转记录和数据特征，以及各所述第二候选业务数据的流转记录和数据特征；
[0016]将所述待监控业务数据的流转记录与各所述第一候选业务数据的流转记录和各所述第二候选业务数据的流转记录进行匹配，得到第一匹配结果；
[0017]将所述待监控业务数据的数据特征与各所述第一候选业务数据的数据特征和各所述第二候选业务数据的数据特征进行匹配，得到第二匹配结果；
[0018]根据所述第一匹配结果和所述第二匹配结果，在所述业务数据集合中，确定与所述待监控业务数据的流转记录匹配和
/
或与所述待监控业务数据的数据特征匹配的候选业务数据；
[0019]将匹配的候选业务数据作为所述目标业务数据
。
[0020]根据本专利技术提供的一种业务数据质量监控方法，所述数据映射存储模型的存储结构是基于如下步骤构建的：
[0021]根据使用频次以及数据重要性，在数据库中获取至少一个关键业务数据；
[0022]根据各所述关键业务数据的数据特征，确定所述数据映射存储模型的存储结构
。
[0023]根据本专利技术提供的一种业务数据质量监控方法，在所述根据所述质量监控指标，对所述待监控业务数据进行数据质量监控之后，所述方法还包括：
[0024]获取所述待监控业务数据的监控状态和监控结果；
[0025]将所述监控状态和所述监控结果发送至所述业务系统集群中的各功能模块，以供所述业务系统集群中的各功能模块将所述监控状态和所述监控结果显示至各自对应的业务系统
。
[0026]根据本专利技术提供的一种业务数据质量监控方法，在所述根据所述质量监控指标，对所述待监控业务数据进行数据质量监控之后，所述方法还包括：
[0027]在根据所述待监控业务数据的监控结果，确定所述待监控业务数据为异常数据的情况下，获取所述待监控业务数据的质量监控指标中的异常指标以及所述待监控业务数据的数据流转路径；
[0028]确定所述业务数据集合中与所述异常指标匹配的业务数据的数据流转路径；
[0029]根据所述待监控业务数据的数据流转路径以及所述与所述异常指标匹配的业务数据的数据流转路径，在所述业务系统集群中确定目标业务系统；
[0030]根据所述待监控业务数据的数据特征和所述监控结果生成预警信息；
[0031]根据待监控业务数据的数据流转路径以及与所述异常指标匹配的业务数据的数据流转路径，将所述预警信息传输至所述目标业务系统
。
[0032]本专利技术还提供一种业务数据质量监控系统，包括：
[0033]数据接收器，用于响应于业务系统集群中目标功能模块发送的数据质量监控指令，获取所述目标功能模块输出的待监控业务数据；
[0034]数据关系记录器，用于根据所述待监控业务数据的流转记录和数据特征，在数据映射存储模型存储的业务数据集合中，确定至少一个目标业务数据；
[0035]监控指标生成器，用于根据各所述目标业务数据的数据特征和所述待监控业务数据的数据特征，生成所述待监控业务数据对应的质量监控指标；
[0036]质量监控执行器，用于根据所述质量监控指标，对所述待监控业务数据进行数据质量监控
。
[0037]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述业务数据质量监控方法
。
[0038]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述业务数据质量监控方法
。
[0039]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述业务数据质量监控方法
。
[0040]本专利技术提供的业务数据质量监控方法
、
系统
、
电子设备及存储介质，通过基于目标功能模块输出的待监控业务数据与数据映射存储模型存储的业务数据集合中的各业务数据之间的内在联系，确定与待监控业务数据匹配的目标业务数据，以基于目标业务数据的数据特征与待监控业务数据的数据特征之间的内在联系，自动生成质量核查指标，以自动发起对待监控业务数据的核查并返回监控状态与监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种业务数据质量监控方法，其特征在于，包括：响应于业务系统集群中目标功能模块发送的数据质量监控指令，获取所述目标功能模块输出的待监控业务数据；根据所述待监控业务数据的流转记录和数据特征，在数据映射存储模型存储的业务数据集合中，确定至少一个目标业务数据；根据各所述目标业务数据的数据特征和所述待监控业务数据的数据特征，生成所述待监控业务数据对应的质量监控指标；根据所述质量监控指标，对所述待监控业务数据进行数据质量监控
。2.
根据权利要求1所述的业务数据质量监控方法，其特征在于，所述业务数据集合包括多个第一候选业务数据和多个第二候选业务数据；所述第一候选业务数据为所述业务系统集群中各原始功能模块输出的业务数据，所述原始功能模块为除所述目标功能模块之外的功能模块；所述第二候选业务数据为从数据关系配置指令中解析得到的业务数据，所述数据关系配置指令是从除所述业务系统集群之外的其他设备端接收到的；所述数据映射存储模型还包括：各所述第一候选业务数据与各所述第一候选业务数据的流转记录和数据特征之间的数据关系，以及各所述第二候选业务数据与各所述第二候选业务数据的流转记录和数据特征之间的数据关系
。3.
根据权利要求2所述的业务数据质量监控方法，其特征在于，所述根据所述待监控业务数据的流转记录和数据特征，在数据映射存储模型存储的业务数据集合中，确定至少一个目标业务数据，包括：在所述数据映射存储模型中，获取各所述第一候选业务数据的流转记录和数据特征，以及各所述第二候选业务数据的流转记录和数据特征；将所述待监控业务数据的流转记录与各所述第一候选业务数据的流转记录和各所述第二候选业务数据的流转记录进行匹配，得到第一匹配结果；将所述待监控业务数据的数据特征与各所述第一候选业务数据的数据特征和各所述第二候选业务数据的数据特征进行匹配，得到第二匹配结果；根据所述第一匹配结果和所述第二匹配结果，在所述业务数据集合中，确定与所述待监控业务数据的流转记录匹配和
/
或与所述待监控业务数据的数据特征匹配的候选业务数据；将匹配的候选业务数据作为所述目标业务数据
。4.
根据权利要求1‑3任一所述的业务数据质量监控方法，其特征在于，所述数据映射存储模型的存储结构是基于如下步骤构建的：根据使用频次以及数据重要性，在数据库中获取至少一个关键业务数据；根据各所述关键业务数据的数据特征，确定所述数据映射存储模型的存储结构
。5.
根据权利要求1‑3任一所...

【专利技术属性】
技术研发人员：陆旖婧，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：