一种基于Azkaban的日志管理方法及系统技术方案

本发明专利技术提供了一种基于Azkaban的日志管理方法及系统，该方法应用于服务器，包括：接收各分布式业务系统发送的任务执行日志，并接收Azkaban调度引擎发送的任务数据；基于任务执行来源标记判断任务执行日志对应的任务是否属于Azkaban调度引擎发送的任务；在任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为任务执行日志添加Azkaban调度日志标记；按照任务执行顺序标记对任务执行日志进行管理。从而实现了调度任务执行日志的统一管理，将作业流的任务执行日志从各个业务系统统一汇集于一个系统中，有利于管理任务执行过程、掌握过程数据，更快速定位故障，提高作业流任务执行的管理效率，节约人力。节约人力。节约人力。

【技术实现步骤摘要】
一种基于Azkaban的日志管理方法及系统


[0001]本专利技术涉及计算机辅助设计
，具体涉及一种基于Azkaban的日志管理方法及系统。

技术介绍

[0002]Azkaban是一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程，Azkaban集成了任务编排、任务调度、异常预警、定时设置等功能为一体，虽然Azkaban的功能强大，但是在企业的具体业务场景下仍有着巨大的改进空间。
[0003]在现有的技术中，Azkaban能查看每一个任务的调度日志，但是调度日志只描述了任务执行的开始和结束等状态，却缺乏描述执行过程的具体日志数据。在大规模分布式系统中，存在很多个异构的业务系统，任务可能在任意一个业务系统上执行，执行过程中产生的日志数据只存在于执行的业务系统上。因此在用户频繁查询执行日志的场景下，例如排查定位错误、查询和对比执行过程数据时，需要用户手动分别登录到多个业务系统上，然后查看执行的详细日志，这样的操作既繁琐又耗时，特别是当作业流中的任务数量较多的时候，效率极其低下，非常消耗人力。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种基于Azkaban的日志管理方法及系统以解决现有技术中Azkaban的任务调度日志缺乏任务执行过程的具体日志数据，只能依靠从各业务系统手动查询，造成任务执行日志查询效率低下的问题。
[0005]根据第一方面，本专利技术实施例提供了一种基于Azkaban的日志管理方法，应用于服务器，包括：
[0006]接收各分布式业务系统发送的任务执行日志，并接收Azkaban调度引擎发送的任务数据，所述任务执行日志带有任务执行来源标记，所述任务数据包括：任务执行顺序标记，所述任务执行顺序标记用于确定任务执行顺序；
[0007]基于所述任务执行来源标记判断所述任务执行日志对应的任务是否属于Azkaban调度引擎发送的任务；
[0008]在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加Azkaban调度日志标记；
[0009]按照所述任务执行顺序标记对所述任务执行日志进行管理。
[0010]可选地，所述方法还包括：
[0011]在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加一般日志标记。
[0012]可选地，所述按照所述任务执行顺序标记对所述任务执行日志进行管理包括：
[0013]按照所述任务执行顺序标记，依次将所述任务执行日志加入日志管理队列；
[0014]对所述日志管理队列中的每一个任务执行日志进行归一化处理，并建立相应的查
询索引进行日志存储。
[0015]可选地，所述方法还包括：
[0016]接收用户发送的日志查询请求，所述日志查询请求中包括目标任务对应的目标查询索引；
[0017]基于所述目标查询索引提取相应的目标任务执行日志发送至所述用户。
[0018]可选地，所述方法还包括：
[0019]将所述任务执行日志作为热数据存放于缓存中。
[0020]可选地，所述方法还包括：
[0021]判断所述缓存中存储当前任务执行日志的时间是否超过预设时间阈值；
[0022]在所述缓存中存储当前任务执行日志的时间超过预设时间阈值时，将所述前任务执行日志从所述缓存中删除。
[0023]根据第二方面，本专利技术实施例提供了一种基于Azkaban的日志管理方法，应用于分布式业务系统，包括：
[0024]接收Azkaban调度引擎发送的待执行任务信息，所述待执行任务信息包括：任务执行来源标记、任务执行顺序标记及各任务对应的任务参数，所述任务执行顺序标记用于确定任务执行顺序；
[0025]按照任务执行顺序标记对应的任务参数执行任务，生成任务执行日志，所述任务执行日志带有所述任务执行来源标记；
[0026]将所述任务执行日志发送至服务器，以使所述服务器基于所述任务执行来源标记判断所述任务执行日志对应的任务是否属于Azkaban调度引擎发送的任务；在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加Azkaban调度日志标记，按照所述任务执行顺序标记对所述任务执行日志进行管理。
[0027]根据第三方面，本专利技术实施例提供了一种基于Azkaban的日志管理系统，包括：服务器和若干分布式业务系统，其中，
[0028]所述分布式业务系统用于接收Azkaban调度引擎发送的待执行任务信息，所述待执行任务信息包括：任务执行来源标记、任务执行顺序标记及各任务对应的任务参数，所述任务执行顺序标记用于确定任务执行顺序；按照任务执行顺序标记对应的任务参数执行任务，生成任务执行日志，所述任务执行日志带有所述任务执行来源标记；将所述任务执行日志发送至服务器；
[0029]所述服务器用于接收各分布式业务系统发送的任务执行日志，并接收Azkaban调度引擎发送的任务数据，所述任务执行日志带有所述任务执行来源标记，所述任务数据包括：任务执行顺序标记，所述任务执行顺序标记用于确定任务执行顺序；基于所述任务执行来源标记判断所述任务执行日志对应的任务是否属于Azkaban调度引擎发送的任务；在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加Azkaban调度日志标记，按照所述任务执行顺序标记对所述任务执行日志进行管理。
[0030]根据第四方面，本专利技术实施例提供了一种基于Azkaban的日志管理装置，应用于服务器，包括：
[0031]第一接收模块，用于接收各分布式业务系统发送的任务执行日志，并接收Azkaban调度引擎发送的任务数据，所述任务执行日志带有所述任务执行来源标记，所述任务数据
包括：任务执行顺序标记，所述任务执行顺序标记用于确定任务执行顺序；
[0032]第一处理模块，用于基于所述任务执行来源标记判断所述任务执行日志对应的任务是否属于Azkaban调度引擎发送的任务；
[0033]第二处理模块，用于在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加Azkaban调度日志标记。
[0034]第三处理模块，用于按照所述任务执行顺序标记对所述任务执行日志进行管理。
[0035]根据第五方面，本专利技术实施例提供了一种基于Azkaban的日志管理装置，应用于分布式业务系统，包括：
[0036]第二接收模块，用于接收Azkaban调度引擎发送的待执行任务信息，所述待执行任务信息包括：任务执行来源标记、任务执行顺序标记及各任务对应的任务参数，所述任务执行顺序标记用于确定任务执行顺序；
[0037]第四处理模块，用于按照任务执行顺序标记对应的任务参数执行任务，生成任务执行日志，所述任务执行日志带有所述任务执行来源标记；
[0038]发送模块，用于将所述任务执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Azkaban的日志管理方法，应用于服务器，其特征在于，包括：接收各分布式业务系统发送的任务执行日志，并接收Azkaban调度引擎发送的任务数据，所述任务执行日志带有任务执行来源标记，所述任务数据包括：任务执行顺序标记，所述任务执行顺序标记用于确定任务执行顺序；基于所述任务执行来源标记判断所述任务执行日志对应的任务是否属于Azkaban调度引擎发送的任务；在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加Azkaban调度日志标记；按照所述任务执行顺序标记对所述任务执行日志进行管理。2.根据权利要求1所述的方法，其特征在于，还包括：在所述任务执行日志对应的任务属于Azkaban调度引擎发送的任务时，为所述任务执行日志添加一般日志标记。3.根据权利要求2所述的方法，其特征在于，所述按照所述任务执行顺序标记对所述任务执行日志进行管理，包括：按照所述任务执行顺序标记，依次将所述任务执行日志加入日志管理队列；对所述日志管理队列中的每一个任务执行日志进行归一化处理，并建立相应的查询索引进行日志存储。4.根据权利要求3所述的方法，其特征在于，还包括：接收用户发送的日志查询请求，所述日志查询请求中包括目标任务对应的目标查询索引；基于所述目标查询索引提取相应的目标任务执行日志发送至所述用户。5.根据权利要求2所述的方法，其特征在于，还包括：将所述任务执行日志作为热数据存放于缓存中。6.根据权利要求5所述的方法，其特征在于，还包括：判断所述缓存中存储当前任务执行日志的时间是否超过预设时间阈值；在所述缓存中存储当前任务执行日志的时间超过预设时间阈值时，将所述前任务执行日志从所述缓存中删除。7.一种基于Azkaban的日志管理方法，应用于分布式业务系统，其特征在于，包括：接收Azkaban调度引擎发送的待执行任务信息，所述待执行任务信息包括：任务执行来源标记、任务执行顺序标记及各任务对应的任务参数，所述任务执行顺序标记用于确定任务执行顺序；按照任务执行顺序标记对应的...

【专利技术属性】
技术研发人员：许冰，杨建国，魏佳，
申请(专利权)人：广联达科技股份有限公司，
类型：发明
国别省市：