一种数据质量的监控方法及系统技术方案

本申请实施例提供一种数据质量的监控方法及系统，涉及数据监控技术领域

【技术实现步骤摘要】
一种数据质量的监控方法及系统


[0001]本申请涉及数据监控
，具体而言，涉及一种数据质量的监控方法及系统
。

技术介绍

[0002]目前，在金融系统或银行系统的开发过程中，系统功能在测试环境验证通过后就会安排上线
。
但测试环境往往不能完全模拟生产情况，特别是有些特殊交易，违约和异常场景，测试过程中不一定能全部发现
。
这样，系统功能上线后，可能存在各种未发现的潜在的问题
。
[0003]一般情况来说，对于新业务类型和特殊场景的业务类型更是如此
。
有些交易当天完成后，后续还有一系列的系统处理
。
或者是两种不同类型交易对同一个账目产生未预料的影响
。
若是等到生产发现功能出现异常，此时才预警，往往已经造成了不同程度的影响，包括但不限于客户损失
、
银行资金和声誉损失，监管介入等
。

技术实现思路

[0004]本申请实施例的目的在于提供一种数据质量的监控方法
、
系统
、
电子设备及计算机可读存储介质，可以实现对交易数据的提前预警
、
保障生产安全的技术效果
。
[0005]第一方面，本申请实施例提供了一种数据质量的监控方法，包括：
[0006]在测试环境中配置预警规则信息，所述预警规则信息包括交易状态
、
金额核对
、
估值预警阈值
、
敞口预警阈值
、
账务核对中的一种或多种；
[0007]获取待监测系统的交易样本数据；
[0008]基于所述预警规则信息将所述交易样本数据导入所述测试环境中进行测试，获得测试数据；
[0009]在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果
。
[0010]在上述实现过程中，该数据质量的监控方法通过在测试环境中配置预警规则信息，在待监测系统上线时获取其中的交易样本数据，进而依据预警规则信息将交易样本数据导入到测试环境中进行测试，并在测试环境中模拟生产操作；从而，在待监测系统的功能上线后，测试环境不断有各类交易进行，且可以在测试环境模拟生产操作，通过技术手段，提前连续跑批，即不断地对待监测系统的功能持续测试，数据质量监控结果就可以提前发现交易样本数据中某笔交易或某种特殊场景引发的潜在问题，进而对其进行相应的处理；从而，该数据质量的监控方法可以实现对交易数据的提前预警
、
保障生产安全的技术效果
。
[0011]进一步地，在获取待监测系统的交易样本数据的步骤之后，所述方法还包括：
[0012]根据所述交易样本数据，获得业务类型信息和交易场景信息；
[0013]根据所述业务类型信息和所述交易场景信息模拟生产环境，获得交易模拟数据
。
[0014]在上述实现过程中，通过业务类型信息和交易场景信息，对待监测系统的生产环境进行更有效的模拟过程，即可以模拟生产环境进行新业务类型或特殊场景下的交易过
程，获得交易模拟数据
。
[0015]进一步地，基于所述预警规则信息将所述交易样本数据导入所述测试环境中进行测试，获得测试数据的步骤，包括：
[0016]基于所述预警规则信息和所述交易模拟数据将所述交易样本数据导入所述测试环境中进行测试，获得所述测试数据
。
[0017]在上述实现过程中，结合预警规则信息和交易模拟数据，将交易样本数据导入测试环境中进行测试，从而根据具体的业务类型和交易场景对交易样本数据进行更有效的测试，提高数据质量监控结果的准确性
。
[0018]进一步地，在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果的步骤，包括：
[0019]将所述测试数据导入所述测试环境并执行至少一个周期的模拟生产操作，获得所述交易样本数据的数据质量监控结果
。
[0020]在上述实现过程中，将测试数据导入测试环境，可根据实际需要执行一个或多个周期的模拟生产操作，从而观察监控情况
。
[0021]进一步地，在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果的步骤之后，所述方法还包括：
[0022]根据所述数据质量监控结果生成前置预警信息
。
[0023]在上述实现过程中，根据数据质量监控结果生成前置预警信息，可以实现对待监测系统中的各类交易的提前预警，在测试环境更容易模拟出各类异常场景，从而弥补传统方案中测试案例不全的问题；即通过前置预警信息，将潜在的问题，提前暴露在测试环境，阻断生产异常发生的可能，保障生产安全
。
[0024]进一步地，在根据所述数据质量监控结果生成前置预警信息的步骤之后，所述方法还包括：
[0025]根据所述前置预警信息获得修复数据
。
[0026]在上述实现过程中，根据前置预警信息获得修复数据，通过修复数据可以对待监测系统进行及时修复，避免产生生产影响，保障生产安全
。
[0027]第二方面，本申请实施例提供了一种数据质量的监控系统，包括：
[0028]规则配置模块，用于在测试环境中配置预警规则信息，所述预警规则信息包括交易状态
、
金额核对
、
估值预警阈值
、
敞口预警阈值
、
账务核对中的一种或多种；
[0029]交易获取模块，用于获取待监测系统的交易样本数据；
[0030]测试模块，用于基于所述预警规则信息将所述交易样本数据导入所述测试环境中进行测试，获得测试数据；
[0031]监控模块，用于在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果
。
[0032]进一步地，所述数据质量的监控系统还包括交易模拟模块，用于：
[0033]根据所述交易样本数据，获得业务类型信息和交易场景信息；
[0034]根据所述业务类型信息和所述交易场景信息模拟生产环境，获得交易模拟数据
。
[0035]进一步地，所述测试模块具体用于：基于所述预警规则信息和所述交易模拟数据将所述交易样本数据导入所述测试环境中进行测试，获得所述测试数据
。
[0036]进一步地，所述监控模块具体用于：将所述测试数据导入所述测试环境并执行至少一个周期的模拟生产操作，获得所述交易样本数据的数据质量监控结果
。
[0037]进一步地，所述数据质量的监控系统还包括与预警模块，用于：根据所述数据质量监控结果生成前置预警信息
。
[0038]进一步地，所述数据质量的监控系统还包括修复模块，用于：根据所述前置预警信息获得修复数据
。
[0039]第三方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据质量的监控方法，其特征在于，包括：在测试环境中配置预警规则信息，所述预警规则信息包括交易状态
、
金额核对
、
估值预警阈值
、
敞口预警阈值
、
账务核对中的一种或多种；获取待监测系统的交易样本数据；基于所述预警规则信息将所述交易样本数据导入所述测试环境中进行测试，获得测试数据；在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果
。2.
根据权利要求1所述的数据质量的监控方法，其特征在于，在获取待监测系统的交易样本数据的步骤之后，所述方法还包括：根据所述交易样本数据，获得业务类型信息和交易场景信息；根据所述业务类型信息和所述交易场景信息模拟生产环境，获得交易模拟数据
。3.
根据权利要求2所述的数据质量的监控方法，其特征在于，基于所述预警规则信息将所述交易样本数据导入所述测试环境中进行测试，获得测试数据的步骤，包括：基于所述预警规则信息和所述交易模拟数据将所述交易样本数据导入所述测试环境中进行测试，获得所述测试数据
。4.
根据权利要求1所述的数据质量的监控方法，其特征在于，在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果的步骤，包括：将所述测试数据导入所述测试环境并执行至少一个周期的模拟生产操作，获得所述交易样本数据的数据质量监控结果
。5.
根据权利要求1或4所述的数据质量的监控方法，其特征在于，在所述测试环境中根据所述测试数据模拟生产操作，获得所述交易样本数据的数据质量监控结果的步骤之后，所述方法还包括：根据所述数据质量监控结...

【专利技术属性】
技术研发人员：陶舒怡，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：