失败任务的影响及溯源分析方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种失败任务的影响及溯源分析方法，该方法包括：获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；根据所述表数据信息在预设的图形数据库中创建HQL任务节点；根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。本发明专利技术还公开了一种失败任务的影响及溯源分析装置、设备和一种存储介质。本发明专利技术能够实现自动对失败任务进行影响及溯源分析，保证分析的正确性和实效性。

【技术实现步骤摘要】
失败任务的影响及溯源分析方法、装置、设备及存储介质
本专利技术涉及数据分析
，尤其涉及失败任务的影响及溯源分析方法、装置、设备及存储介质。
技术介绍
大数据任务是由很多个小的HQL(HibernateQueryLanguage，查询语言)语句组成的，会创建很多的数据表，由于表结构和表数据错误等原因，每个小的HQL任务在执行的过程中都有可能会失败。一般情况下，当某个任务运行失败时，需要评估对依赖于该任务的其他任务是否有影响，同时还需要追溯该任务错误的源头。目前，失败任务的影响及溯源分析一般是用关系型数据库去存储任务之间的依赖关系，在需要定位问题的时候根据这些依赖关系，人工去配置生成依赖视图，再去分析相关的任务，确定问题和影响。这种方式的缺陷在于：通过关系型数据库存储大量任务之间的依赖关系，执行起来非常复杂且扩展性差，进行依赖计算的时候需要全表扫描，效率低且受限于内存的大小，而且只能根据关系模型数据生成依赖视图，且需要人工参与分析，无法保证分析的正确性和实效性。
技术实现思路
本专利技术的主要目的在于提出一种失败任务的影响及溯源分析方法、装置、设备及存储介质，旨在实现自动对失败任务进行影响及溯源分析，减少人工参与，保证分析的正确性和实效性。为实现上述目的，本专利技术提供一种失败任务的影响及溯源分析方法，所述方法包括如下步骤：获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；根据所述表数据信息在预设的图形数据库中创建HQL任务节点；根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。优选地，所述获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息的步骤包括：获取当前运行的HQL任务的运行日志，从所述运行日志中读取与所述当前运行的HQL任务对应的表数据信息和表的生成规则信息。优选地，所述根据所述表数据信息在预设的图形数据库中创建HQL任务节点的步骤包括：获取所述表数据信息中的表名；在预设的图形数据库中创建与所述表名对应的HQL任务节点。优选地，所述当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析的步骤包括：当检测到某一HQL任务失败时，在所述HQL血缘图谱中定位失败的HQL任务的任务节点，并查询所有与失败的HQL任务的任务节点存在依赖关系和反向依赖关系的任务节点，得到查询结果；根据所述查询结果对失败的HQL任务进行影响及溯源分析。优选地，所述根据所述查询结果对失败的HQL任务进行影响及溯源分析的步骤之后，还包括：当接收到修复指令时，根据所述修复指令对所述查询结果中的任务节点对应的HQL任务进行批量重启。此外，为实现上述目的，本专利技术还提供一种失败任务的影响及溯源分析装置，所述失败任务的影响及溯源分析装置包括：获取模块，用于获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；创建模块，用于根据所述表数据信息在预设的图形数据库中创建HQL任务节点；构建模块，用于根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；分析模块，用于当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。优选地，所述获取模块，还用于获取当前运行的HQL任务的运行日志，从所述运行日志中读取与所述当前运行的HQL任务对应的表数据信息和表的生成规则信息。优选地，所述创建模块，还用于获取所述表数据信息中的表名；在预设的图形数据库中创建与所述表名对应的HQL任务节点。优选地，所述分析模块还用于当检测到某一HQL任务失败时，在所述HQL血缘图谱中定位失败的HQL任务的任务节点，并查询所有与失败的HQL任务的任务节点存在依赖关系和反向依赖关系的任务节点，得到查询结果；根据所述查询结果对失败的HQL任务进行影响及溯源分析。优选地，所述装置还包括：修复模块，用于当接收到修复指令时，根据所述修复指令对所述查询结果中的任务节点对应的HQL任务进行批量重启。此外，为实现上述目的，本专利技术还提供一种失败任务的影响及溯源分析设备，所述失败任务的影响及溯源分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的失败任务的影响及溯源分析程序，所述失败任务的影响及溯源分析程序被所述处理器执行时实现如上所述的失败任务的影响及溯源分析方法的步骤。此外，为实现上述目的，本专利技术还提供一种存储介质，所述存储介质上存储有失败任务的影响及溯源程序，所述失败任务的影响及溯源程序被处理器执行时实现如上所述的失败任务的影响及溯源方法的步骤。本专利技术提出的失败任务的影响及溯源分析方法，利用图形数据库的数据结构简单、查询简单、快速检索的特点，首先获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息，根据所述表数据信息在预设的图形数据库中创建HQL任务节点；然后根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。通过这种方式，实现了自动对失败的HQL任务进行影响及溯源分析而无需人工参与，从而保证了分析的正确性和实效性。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；图2为本专利技术失败任务的影响及溯源方法第一实施例的流程示意图；图3为本专利技术实施例中HQL血缘图谱的示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的主要解决方案是：获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；根据所述表数据信息在预设的图形数据库中创建HQL任务节点；根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。目前，失败任务的影响及溯源分析一般是用关系型数据库去存储任务之间的依赖关系，在需要定位问题的时候根据这些依赖关系，人工去配置生成依赖视图，再去分析相关的任务，确定问题和影响。这种方式的缺陷在于：通过关系型数据库存储大量任务之间的依赖关系，执行起来非常复杂且扩展性差，进行依赖计算的时候需要全表扫描，效率低且受限于内存的大小，而且只能根据关系模型数据生成依赖视图，且需要人工参与分析，无法保证分析的正确性和实效性。本专利技术提出的失败任务的影响及溯源分析方法，利用图形数据库的数据结构简单、查询简单、快速检索的特点，首先获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息，根据所述表数据信息在预设的图形数据库中创建HQL任务节点；然后根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测本文档来自技高网...

【技术保护点】
1.一种失败任务的影响及溯源分析方法，其特征在于，所述失败任务的影响及溯源分析方法包括如下步骤：获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；根据所述表数据信息在预设的图形数据库中创建HQL任务节点；根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。

【技术特征摘要】
1.一种失败任务的影响及溯源分析方法，其特征在于，所述失败任务的影响及溯源分析方法包括如下步骤：获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；根据所述表数据信息在预设的图形数据库中创建HQL任务节点；根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。2.如权利要求1所述的失败任务的影响及溯源分析方法，其特征在于，所述获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息的步骤包括：获取当前运行的HQL任务的运行日志，从所述运行日志中读取与所述当前运行的HQL任务对应的表数据信息和表的生成规则信息。3.如权利要求1所述的失败任务的影响及溯源分析方法，其特征在于，所述根据所述表数据信息在预设的图形数据库中创建HQL任务节点的步骤包括：获取所述表数据信息中的表名；在预设的图形数据库中创建与所述表名对应的HQL任务节点。4.如权利要求1至3中任一项所述的失败任务的影响及溯源分析方法，其特征在于，所述当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析的步骤包括：当检测到某一HQL任务失败时，在所述HQL血缘图谱中定位失败的HQL任务的任务节点，并查询所有与失败的HQL任务的任务节点存在依赖关系和反向依赖关系的任务节点，得到查询结果；根据所述查询结果对失败的HQL任务进行影响及溯源分析。5.如权利要求4所述的失败任务的影响及溯源分析方法，其特征在于，所述根据所述查询结果对失败的HQL任务进行影响及溯源分析的步骤之后，还包括：当接收到修复指令时，根据所述修复指令对所述查询结果中的任务节点对应的HQL任务进行批量重启。6.一种失败任务的影响及溯源分析装置，其特征在于，所述失败任务的影响及溯源分析装置包括：获取模块，用于获取与当前运行的HQL任务对应的表数据信息和表的生...

【专利技术属性】
技术研发人员：江鹤，柯弘正，文海荣，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44