基于大数据技术的数据监测方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种基于大数据技术的数据监测方法、装置、计算机设备和存储介质。所述方法包括：获取数据集；确定所述数据集中各数据字段之间的关联关系；根据所述关联关系生成由关系节点连接而成的数据血缘图；当收到数据异常报警信息时，从所述异常报警信息中获取异常数据项；在所述数据血缘图中，确定与所述异常数据项所属的字段对应的预警路线图，以根据所述预警路线图确定异常的关系节点。采用本方法能够提高监测效率。

【技术实现步骤摘要】
基于大数据技术的数据监测方法、装置、设备和存储介质
本申请涉及计算机
，特别是涉及一种基于大数据技术的数据监测方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，出现了大数据技术，具有庞大的数据量是大数据技术的特点，面对越来越庞大的数据量，如何在数据发生异常时对发生异常的数据进行监测，以找到数据发生异常的源头，这是大数据技术的应用中迫切需要解决的问题。传统技术中，通过人工方式对各个节点的数据进行查找，以确定出现问题的关系节点，当数据量很大时，对异常的关系节点进行查找的效率低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高监测效率的基于大数据技术的数据监测方法、装置、计算机设备和存储介质。一种基于大数据技术的数据监测方法，所述方法包括：获取数据集；确定所述数据集中各数据字段之间的关联关系；根据所述关联关系生成由关系节点连接而成的数据血缘图；当收到数据异常报警信息时，从所述异常报警信息中获取异常数据项；在所述数据血缘图中，确定与所述异常数据项所属的字段对应的预警路线图，以根据所述预警路线图确定异常的关系节点。在一个实施例中，所述关系节点为存储了对应的来源字段、操作算法以及目标字段的操作节点；所述确定所述数据集中各数据字段之间的关联关系包括：获取对所述数据集中各数据字段对应的数据进行操作的操作语句；根据每个操作节点处采用的操作语句获取所述操作算法；根据所述操作算法确定所述来源字段与所述目标字段之间的关联关系；所述目标字段是基于所述操作算法对所述来源字段进行操作所得的字段。在一个实施例中，所述方法还包括：对于各关系节点中的目标字段，获取产生目标字段中的数据的操作时间；根据最新的所述操作时间，获取产生所述数据的操作账户所对应的目标操作节点；确定所述目标操作节点对应的操作账户所操作的来源字段；根据所述操作算法确定所述来源字段与对应的目标字段间的关联关系，所述操作算法是所述目标操作节点中所存储的算法。在一个实施例中，所述关系节点为存储了对应的来源字段、分析算法以及目标字段的分析节点；所述确定所述数据集中各数据字段之间的关联关系包括：获取对所述数据集中各数据字段进行分析的分析语句；根据每个分析节点处采用的分析语句获取所述分析算法；根据所述分析算法确定所述来源字段与所述目标字段之间的关联关系；所述目标字段是基于所述分析算法对所述来源字段进行分析所得的字段。在一个实施例中，所述方法还包括：对于各关系节点中的目标字段，获取产生目标字段中的数据的分析时间；根据最新的所述分析时间，获取产生所述数据的目标分析节点；确定所述目标分析节点对应的来源字段；根据所述分析算法确定所述来源字段与对应的目标字段间的关联关系，所述分析算法是所述目标分析节点中所存储的算法。在一个实施例中，所述关联关系包括根据操作语句对所述数据字段进行运算产生的各数据字段间的操作关联关系和根据分析语句对所述数据字段进行运算产生的各数据字段间的分析关联关系；所述根据所述关联关系生成由关系节点连接而成的数据血缘图包括：基于所述操作关联关系以及所述分析关联关系生成由关系节点连接而成的数据血缘图。在一个实施例中，所述关系节点存储了对应的来源字段、处理算法以及目标字段；所述在所述数据血缘图中，确定与所述异常数据项所属的字段对应的预警路线图包括：在所述数据血缘图中，确定所述异常数据项所属的字段对应的第一子血缘图；从所述第一子血缘图的关系节点中，获取所述异常数据项的第一异常来源字段以及基于所述第一异常来源字段生成所述异常数据项的第一处理算法；依据所述第一处理算法对所述异常数据项与所述第一异常来源字段之间的算法关系进行验证；当验证不通过时，确定所述第一异常来源字段为所述预警路线图的终点；根据所述异常数据项以及所述预警路线图的终点确定所述预警路线图。在一个实施例中，所述方法还包括：当验证通过时，获取所述第一异常来源字段所属的第二子血缘图；从所述第二子血缘图的关系节点中，获取第二异常来源字段以及基于所述第二异常来源字段生成所述第一异常来源字段的第二处理算法；所述第一异常来源字段来源于所述第二异常来源字段；依据所述第二处理算法对所述第一异常来源字段与所述第二异常来源字段之间的算法关系进行验证，直至验证不通过时，确定所述预警路线图的终点；根据所述异常数据项以及所述预警路线图的终点确定所述预警路线图。在一个实施例中，所述关系节点为操作节点；所述操作节点存储了对应的操作账户的账户标识；所述根据所述预警路线图确定异常的关系节点之后，所述方法还包括：确定所述异常的关系节点对应的操作账户的账户标识；根据所述账户标识向所述操作账户以及相关联账户发送预警信息。一种基于大数据技术的数据监测装置，所述装置包括：获取模块，用于获取数据集；确定模块，用于确定所述数据集中各数据字段之间的关联关系；生产模块，用于根据所述关联关系生成由关系节点连接而成的数据血缘图；所述获取模块，还用于当收到数据异常报警信息时，从所述异常报警信息中获取异常数据项；所述确定模块，还用于在所述数据血缘图中，确定与所述异常数据项所属的字段对应的预警路线图，以根据所述预警路线图确定异常的关系节点。在一个实施例中，所述关系节点为存储了对应的来源字段、操作算法以及目标字段的操作节点；所述确定模块，还用于：获取对所述数据集中各数据字段对应的数据进行操作的操作语句；根据每个操作节点处采用的操作语句获取所述操作算法；根据所述操作算法确定所述来源字段与所述目标字段之间的关联关系；所述目标字段是基于所述操作算法对所述来源字段进行操作所得的字段。在一个实施例中，所述装置还包括：所述获取模块，用于对于各关系节点中的目标字段，获取产生目标字段中的数据的操作时间；根据最新的所述操作时间，获取产生所述数据的操作账户所对应的目标操作节点；所述确定模块，还用于确定所述目标操作节点对应的操作账户所操作的来源字段；根据所述操作算法确定所述来源字段与对应的目标字段间的关联关系，所述操作算法是所述目标操作节点中所存储的算法。在一个实施例中，所述关系节点为存储了对应的来源字段、分析算法以及目标字段的分析节点；所述确定模块，还用于：获取对所述数据集中各数据字段进行分析的分析语句；根据每个分析节点处采用的分析语句获取所述分析算法；根据所述分析算法确定所述来源字段与所述目标字段之间的关联关系；所述目标字段是基于所述分析算法对所述来源字段进行分析所得的字段。在一个实施例中，所述装置还包括：所述获取模块，还用于对于各关系节点中的目标字段，获取产生目标字段中的数据的分析时间；根据最新的所述分析时间，本文档来自技高网...

【技术保护点】
1.一种基于大数据技术的数据监测方法，其特征在于，所述方法包括：/n获取数据集；/n确定所述数据集中各数据字段之间的关联关系；/n根据所述关联关系生成由关系节点连接而成的数据血缘图；/n当收到数据异常报警信息时，从所述异常报警信息中获取异常数据项；/n在所述数据血缘图中，确定与所述异常数据项所属的字段对应的预警路线图，以根据所述预警路线图确定异常的关系节点。/n

【技术特征摘要】
1.一种基于大数据技术的数据监测方法，其特征在于，所述方法包括：
获取数据集；
确定所述数据集中各数据字段之间的关联关系；
根据所述关联关系生成由关系节点连接而成的数据血缘图；
当收到数据异常报警信息时，从所述异常报警信息中获取异常数据项；
在所述数据血缘图中，确定与所述异常数据项所属的字段对应的预警路线图，以根据所述预警路线图确定异常的关系节点。


2.根据权利要求1所述的方法，其特征在于，所述关系节点为存储了对应的来源字段、操作算法以及目标字段的操作节点；所述确定所述数据集中各数据字段之间的关联关系包括：
获取对所述数据集中各数据字段对应的数据进行操作的操作语句；
根据每个操作节点处采用的操作语句获取所述操作算法；
根据所述操作算法确定所述来源字段与所述目标字段之间的关联关系；所述目标字段是基于所述操作算法对所述来源字段进行操作所得的字段。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对于各关系节点中的目标字段，获取产生目标字段中的数据的操作时间；
根据最新的所述操作时间，获取产生所述数据的操作账户所对应的目标操作节点；
确定所述目标操作节点对应的操作账户所操作的来源字段；
根据所述操作算法确定所述来源字段与对应的目标字段间的关联关系，所述操作算法是所述目标操作节点中所存储的算法。


4.根据权利要求1所述的方法，其特征在于，所述关系节点为存储了对应的来源字段、分析算法以及目标字段的分析节点；所述确定所述数据集中各数据字段之间的关联关系包括：
获取对所述数据集中各数据字段进行分析的分析语句；
根据每个分析节点处采用的分析语句获取所述分析算法；
根据所述分析算法确定所述来源字段与所述目标字段之间的关联关系；所述目标字段是基于所述分析算法对所述来源字段进行分析所得的字段。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对于各关系节点中的目标字段，获取产生目标字段中的数据的分析时间；
根据最新的所述分析时间，获取产生所述数据的目标分析节点；
确定所述目标分析节点对应的来源字段；
根据所述分析算法确定所述来源字段与对应的目标字段间的关联关系，所述分析算法是所述目标分析节点中所存储的算法。


6.根据权利要求1所述的方法，其特征在于，所述关联关系包括根据操作语句对所述数据字段进行运算产生的各数据字段间的操作关联关系和根据分析语句对所述数据字段进行运算产生的各数据字段间的分析关联关系；
所述根据所述关联关系生成由关系节点连接而成的数据血缘图包括：
基于所述操作关联关系以及所述分析...

【专利技术属性】
技术研发人员：章志容，李实，彭添才，吴联波，
申请(专利权)人：东莞市盟大塑化科技有限公司，
类型：发明
国别省市：广东;44