本申请实施例属于大数据,涉及一种任务依赖全景图展示方法,包括获取目标项目,将目标项目对应的作业进行分层得到不同任务层级,并根据各个作业之间的逻辑关系以及任务层级之间的执行逻辑,建立任务层级之间的依赖关系,利用爬虫爬取依赖关系,根据依赖关系形成任务关系表,根据任务关系表确定作业之间的层级关系,根据层级关系生成每个作业对应的坐标,基于坐标生成并展示任务依赖全景图。本申请还提供一种任务依赖全景图展示装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,任务关系表可存储于区块链中。本申请可以避免作业关系依赖错乱,导致数据的聚合错误,降低使用方的信赖度,同时,提高作业定位的准确度。提高作业定位的准确度。提高作业定位的准确度。
【技术实现步骤摘要】
任务依赖全景图展示方法、装置、计算机设备及存储介质
[0001]本申请涉及大数据的数据展示
,尤其涉及一种任务依赖全景图展示方法、装置、计算机设备及存储介质。
技术介绍
[0002]Azkaban是由领英(Linkedin)公司开源的一款工作流任务调度工具,集成调度、编排、失败重试、邮件告警等功能为一体。Azkaban为目前大数据数仓调度的重要调度工具,相对oozie等重型工具来说属于轻型工具。但是由于原生Azkaban简单的任务关系和自身调度单元的颗粒度小的问题,需要同时部署多套Azkaban做分级分层使用,不能满足目前大数据多业务复杂环境下的定位依赖和定位问题根源点,同时出现问题后,需要召集大量人力进行分析,导致浪费时间以及可能出现误判的问题。
技术实现思路
[0003]本申请实施例的目的在于提出一种任务依赖全景图展示方法、装置、计算机设备及存储介质,以解决相关技术中任务调度过程出现问题后,需要大量人力进行问题分析定位,导致定位问题效率低,且可能出现误判的技术问题。
[0004]为了解决上述技术问题,本申请实施例提供一种任务依赖全景图展示方法,采用了如下所述的技术方案:
[0005]获取目标项目,将所述目标项目对应的作业进行分层得到不同任务层级,并根据各个所述作业之间的逻辑关系以及所述任务层级之间的执行逻辑,建立所述任务层级之间的依赖关系;
[0006]利用爬虫爬取所述依赖关系,根据所述依赖关系形成任务关系表;
[0007]根据所述任务关系表确定所述作业之间的层级关系;
[0008]根据所述层级关系生成每个所述作业对应的坐标;
[0009]基于所述坐标生成并展示任务依赖全景图。
[0010]进一步的,所述根据所述任务关系表确定所述作业之间的层级关系的步骤包括:
[0011]根据所述任务关系表生成树状关系图;
[0012]基于所述树状关系图确定所述作业之间的层级关系。
[0013]进一步的,所述根据所述任务关系表生成树状关系图的步骤包括:
[0014]从所述任务关系表中获取到所述依赖关系;
[0015]根据所述依赖关系中的项目执行顺序、工作流执行顺序以及作业执行顺序生成所述树状关系图。
[0016]进一步的,所述根据所述层级关系生成每个所述作业对应的坐标的步骤包括:
[0017]根据所述层级关系确定每个所述作业所在的作业层级,并获取每个作业层级中所述作业的第一数量以及作业数量最多作业层级中所述作业的第二数量;
[0018]根据所述作业的作业开始时间对每个作业层级中的所述作业进行排序,得到作业
排序序号;
[0019]根据所述作业层级、所述第一数量、所述第二数量以及所述作业排序序号计算出所述作业的坐标。
[0020]进一步的,所述根据所述作业层级、所述第一数量、所述第二数量以及所述作业排序序号计算出所述作业的坐标的步骤包括:
[0021]将所述第一数量加一得到和值,计算所述作业排序序号与所述和值的比值,得到商值;
[0022]将所述商值与所述第二数量相乘,得到所述坐标的横坐标值;
[0023]对所述作业层级取负值,得到所述坐标的纵坐标值。
[0024]进一步的,所述基于所述坐标生成并展示任务依赖全景图的步骤包括:
[0025]根据所述依赖关系确定所述作业的路径;
[0026]根据所述路径和所述坐标,利用tableau算法形成所述任务依赖全景图,并将所述任务依赖全景图在可视化界面进行展示。
[0027]进一步的,所述利用爬虫爬取所述依赖关系的步骤包括:
[0028]获取爬虫请求,根据所述爬虫请求调用爬虫程序,并通过所述爬虫程序爬取与所述爬虫请求对应的依赖关系,以获取各个所述作业之间的逻辑关系以及所述任务层级之间的执行逻辑。
[0029]为了解决上述技术问题,本申请实施例还提供一种任务依赖全景图展示装置,采用了如下所述的技术方案:
[0030]获取模块,用于获取目标项目,将所述目标项目对应的作业进行分层得到不同任务层级,并根据各个所述作业之间的逻辑关系以及所述任务层级之间的执行逻辑,建立所述任务层级之间的依赖关系;
[0031]爬取模块,用于利用爬虫爬取所述依赖关系,根据所述依赖关系形成任务关系表;
[0032]确定模块,用于根据所述任务关系表确定所述作业的层级关系;
[0033]生成模块,用于根据所述层级关系生成每个所述作业对应的坐标;
[0034]展示模块,用于基于所述坐标生成并展示任务依赖全景图。
[0035]为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
[0036]该计算机设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如上所述的任务依赖全景图展示方法的步骤。
[0037]为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
[0038]所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上所述的任务依赖全景图展示方法的步骤。
[0039]与现有技术相比,本申请实施例主要有以下有益效果:
[0040]本申请通过获取目标项目,将目标项目对应的作业进行分层得到不同任务层级,并建立所述任务层级之间的依赖关系,利用爬虫爬取依赖关系,根据依赖关系形成任务关系表,根据任务关系表确定作业之间的层级关系,根据层级关系生成每个作业对应的坐标,基于坐标生成并展示任务依赖全景图;本申请通过将目标项目对应的作业进行分层得到不
同任务层级,并建立任务层级之间的依赖关系,可以避免作业关系依赖错乱,导致数据的聚合错误,降低使用方的信赖度,同时,通过任务依赖全景图能够直观展示作业调度依赖关系,提高作业定位的准确度。
附图说明
[0041]为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0042]图1是本申请可以应用于其中的示例性系统架构图;
[0043]图2根据本申请的任务依赖全景图展示方法的一个实施例的流程图;
[0044]图3是根据本申请的任务依赖全景图展示装置的一个实施例的结构示意图;
[0045]图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
[0046]除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务依赖全景图展示方法,其特征在于,包括下述步骤:获取目标项目,将所述目标项目对应的作业进行分层得到不同任务层级,并根据各个所述作业之间的逻辑关系以及所述任务层级之间的执行逻辑,建立所述任务层级之间的依赖关系;利用爬虫爬取所述依赖关系,根据所述依赖关系形成任务关系表;根据所述任务关系表确定所述作业之间的层级关系;根据所述层级关系生成每个所述作业对应的坐标;基于所述坐标生成并展示任务依赖全景图。2.根据权利要求1所述的任务依赖全景图展示方法,其特征在于,所述根据所述任务关系表确定所述作业之间的层级关系的步骤包括:根据所述任务关系表生成树状关系图;基于所述树状关系图确定所述作业之间的层级关系。3.根据权利要求2所述的任务依赖全景图展示方法,其特征在于,所述根据所述任务关系表生成树状关系图的步骤包括:从所述任务关系表中获取到所述依赖关系;根据所述依赖关系中的项目执行顺序、工作流执行顺序以及作业执行顺序生成所述树状关系图。4.根据权利要求1所述的任务依赖全景图展示方法,其特征在于,所述根据所述层级关系生成每个所述作业对应的坐标的步骤包括:根据所述层级关系确定每个所述作业所在的作业层级,并获取每个作业层级中所述作业的第一数量以及作业数量最多作业层级中所述作业的第二数量;根据所述作业的作业开始时间对每个作业层级中的所述作业进行排序,得到作业排序序号;根据所述作业层级、所述第一数量、所述第二数量以及所述作业排序序号计算出所述作业的坐标。5.根据权利要求4所述的任务依赖全景图展示方法,其特征在于,所述根据所述作业层级、所述第一数量、所述第二数量以及所述作业排序序号计算出所述作业的坐标的步骤包括:将所述第一数量加一得到和值,计算所述作业排...
【专利技术属性】
技术研发人员:蔡沛龙,
申请(专利权)人:平安普惠企业管理有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。