数据检测方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种数据检测方法、装置、电子设备及存储介质。其中方法包括：电子设备通过对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系；根据依赖关系确定出至少一个数据链，并确定每一数据链对应的子依赖关系；根据子依赖关系确定出每一数据链对应的时间序列数据；对时间序列数据进行分析，以检测每一数据链中的数据是否出现异常。从而提升对系统异常数据检测的准确性。从而提升对系统异常数据检测的准确性。从而提升对系统异常数据检测的准确性。

【技术实现步骤摘要】
数据检测方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，具体涉及一种数据检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着业务的发展，系统中的数据会越来越多，现有技术中，采用了常规的数据监控手段，针对风险类数据进行规则的配置监控，比如空值、唯一键等方式来进行监控。
[0003]但是对于数据的准确性是无法进行识别的，特别是上游数据报错的场景，在通过多级数据的加工和开发后，很难在目标数据中排查出来。

技术实现思路

[0004]本申请实施例提供一种数据检测方法、装置、电子设备及存储介质。该数据检测方法能够提升对系统异常数据检测的准确性。
[0005]第一方面，本申请实施例提供了一种数据检测方法，包括：
[0006]对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系；
[0007]根据依赖关系确定出至少一个数据链，并确定每一数据链对应的子依赖关系；
[0008]根据子依赖关系确定出每一数据链对应的时间序列数据；
[0009]对时间序列数据进行分析，以检测每一数据链中的数据是否出现异常。
[0010]第二方面，本申请实施例提供了一种数据检测装置，包括：
[0011]第一确定模块，用于对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系；
[0012]第二确定模块，用于根据依赖关系确定出至少一个数据链，并确定每一数据链对应的子依赖关系；
[0013]第三确定模块，用于根据子依赖关系确定出每一数据链对应的时间序列数据；
[0014]检测模块，用于对时间序列数据进行分析，以检测每一数据链中的数据是否出现异常。
[0015]第三方面，本申请实施例提供了一种电子设备，包括存储有可执行程序代码的存储器、与存储器耦合的处理器；处理器调用存储器中存储的可执行程序代码，以执行本申请实施例提供的数据检测方法中的步骤。
[0016]第四方面，本申请实施例提供了一种存储介质，存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请实施例提供的数据检测方法中的步骤。
[0017]本申请实施例中，电子设备通过对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系；根据依赖关系确定出至少一个数据链，并确定每一数据链对应的子依赖关系；根据子依赖关系确定出每一数据链对应的时间序列数据；对时间序列数据进行分析，以检测每一数据链中的数据是否出现异常。从而提升对系统异常数据检测的准确性。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的数据检测方法的第一流程示意图。
[0020]图2是本申请实施例提供的数据检测方法的第二流程示意图。
[0021]图3是本申请实施例提供的数据检测装置的结构示意图。
[0022]图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]随着业务的发展，系统中的数据会越来越多，现有技术中，采用了常规的数据监控手段，针对风险类数据进行规则的配置监控，比如空值、唯一键等方式来进行监控。
[0025]但是对于数据的准确性是无法进行识别的，特别是上游数据报错的场景，在通过多级数据的加工和开发后，很难在目标数据中排查出来。
[0026]在金融行业中，一部分公司选择人工监控和运维，有专门的岗位对数据的跑批作业进行每日例行检查，通过数据指标大盘来发现问题，但随着数据作业量的逐步增多，运维的工作量也会增加。这也导致对风险数据的监控可能存在遗漏。同时对风险数据的检测效率低下。
[0027]为了解决该技术问题，本申请实施例提供一种数据检测方法、装置、电子设备及存储介质。该数据检测方法能够提升对系统异常数据检测的准确性。
[0028]请参阅图1，图1是本申请实施例提供的数据检测方法第一流程示意图。该数据检测方法可以包括如下步骤：
[0029]110、对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系。
[0030]在一些实施方式中，在系统中对应有不同的层级，每一层级中有不同的节点，电子设备可以获取系统的源调度文件，分析源调度文件并提取对应的识别节点，识别节点包括依层级划分的根节点、子节点和作业节点，然后根据源调度文件来分析出系统中数据的依赖关系。该源调度文件可以是xml格式的文件，也可以Excel格式的文件。
[0031]可选地，在依据不同层级结构划分为根节点，子节点和作业节点(作业)基础上，还可以对子节点配置多层嵌套，实现作业流调度在功能视图上的分类。增加一个批量调度任务通常需要增加作业名，作业节点，作业父节点，作业依赖关系等。基于现有生产大数据批处理模式，通常采用分库分表，作业并行统一调度处理方式，加快数据处理效率。
[0032]电子设备可以根据源调度文件中的表结构来分析出系统中不同数据对应的依赖关系。
[0033]在一些实施方式中，电子设备还可以对系统中的表结构进行分析，以确定出表级依赖关系；对表结构中的字段进行分析，以确定出字段级依赖关系；根据表级依赖关系和字段级依赖关系，确定出系统中数据对应的依赖关系。
[0034]例如，在系统中存在不同的表结构，每一表结构之间对应有平行等级的关系或者上下等级的关系，可以对不同的表之间的结构进行分析，从而确定出表级依赖关系。
[0035]在不同的表下的字段，对应有一定的平行等级的结构或者上下等级的结构，例如，可以通过字段之间的依赖关系来进行分析，从而得到字段级依赖关系。
[0036]在一些实施方式中，电子设备还可以通过神经网络模型对系统中的流量进行分析，从而确定出系统中不同数据之间的依赖关系。例如，将流量特征输入到长短期记忆(Long short
‑
term memory,LSTM)神经网络模型中，通过长短期记忆神经网络模型来对流量特征进行分析，从而得到长短期记忆神经网络模型根据流量特征预测出的依赖关系。
[0037]120、根据依赖关系确定出至少一个数据链，并确定每一数据链对应的子依赖关系。
[0038]在一些实施方式中，电子设备可以根据依赖关系确定出多条数据链。例如，业务1和业务2为不相同的业务，则业务1对应的数据链和业务2对应的数据链是不同的，则可以将业务1对应的数据链确认为一条数据链，将业务2对应的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检测方法，其特征在于，包括：对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系；根据所述依赖关系确定出至少一个数据链，并确定每一所述数据链对应的子依赖关系；根据所述子依赖关系确定出每一所述数据链对应的时间序列数据；对所述时间序列数据进行分析，以检测所述每一所述数据链中的数据是否出现异常。2.根据权利要求1所述的数据检测方法，其特征在于，在所述根据所述子依赖关系确定出所述系统对应的时间序列数据之前，所述方法还包括：获取每一数据链对应的时间依赖关系；所述根据所述子依赖关系确定出所述系统对应的时间序列数据，包括：根据所述时间依赖关系和所述子依赖关系确定出所述系统对应的时间序列数据。3.根据权利要求2所述的数据检测方法，其特征在于，所述根据所述时间依赖关系和所述子依赖关系确定出每一所述数据链对应的时间序列数据，包括：根据所述子依赖关系确定所述数据链中数据执行的路径；根据所述时间依赖关系确定所述数据链中数据执行的时间；根据所述数据执行的路径和所述数据执行的时间确定出每一所述数据链对应的时间序列数据。4.根据权利要求1所述的数据检测方法，其特征在于，所述对系统中的不同层级的数据进行分析，以确定出系统中数据对应的依赖关系，包括：对所述系统中的表结构进行分析，以确定出表级依赖关系；对所述表结构中的字段进行分析，以确定出字段级依赖关系；根据所述表级依赖关系和所述字段级依赖关系，确定出所述系统中数据对应的依赖关系。5.根据权利要求1所述的数据检测方法，其特征在于，所述对所述时间序列数据进行分析，以检测所述每一所述数据链中的数据是否出现异常，包括：根据所述时间序列数据确定出趋势项、周期项、假期项及误差项；根据所述趋势项、所述周期项、...

【专利技术属性】
技术研发人员：尤薇，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：