【技术实现步骤摘要】
本申请涉及大数据运维，尤其涉及一种分布式集群的作业查杀方法及装置。
技术介绍
1、随着大数据的快速发展，各行各业使用大数据技术处理业务的需求越来越多。金融机构就基于分布式集群(例如，一个分布式集群包括：hadoop集群和mpp集群)搭建了大数据平台，提供用于业务数据的批量加工处理服务。开发人员编写sql作业，通过批量作业调度框架，将sql作业提交至分布式集群运行。随着接入应用的越来越多，大数据平台批量服务的作业任务也越来越多，资源越来越紧张，慢sql作业的任务数量也随之增加，影响数据加工时效。
2、目前主要采取人工分析、定位作业和手工查杀的方式进行批量作业运维；无法自动根据作业信息，及时跟踪作业运行状态，精准定位慢sql作业，快速处理以减小对业务数据批量加工时效的影响；作业运维难度大、效率低。
技术实现思路
1、针对现有技术中的至少一个问题，本申请提出了一种分布式集群的作业查杀方法及装置，能够在保证分布式集群的作业查杀可靠性的基础上，提高分布式集群的作业查杀的自动化程度和效率，进而能够提高证分布式集群中批量作业的运维效率。
2、为了解决上述技术问题，本申请提供以下技术方案：
3、第一方面，本申请提供一种分布式集群的作业查杀方法，包括：
4、监测分布式集群对应的批量sql作业中是否存在满足预设的慢作业条件的sql作业，若是，则将所述满足预设的慢作业条件的sql作业确定为慢作业，所述分布式集群包括：多类集群节点，各类集群节点对应的中间服务
5、获取所述慢作业的唯一标识，根据所述慢作业的唯一标识，确定所述慢作业对应的目标集群节点以及目标中间服务器节点，完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理。
6、在一个实施例中，所述完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理，包括：
7、根据所述慢作业的唯一标识，获得所述目标中间服务器节点中该慢作业对应的第一进程唯一标识以及所述目标集群节点中该慢作业对应的第二进程唯一标识；
8、根据所述第一进程唯一标识，完成所述目标中间服务器节点中该慢作业对应的进程的查杀处理；
9、根据所述第二进程唯一标识，完成所述目标集群节点中该慢作业对应的进程的查杀处理。
10、在一个实施例中，所述的分布式集群的作业查杀方法，还包括：
11、获取批量sql作业；
12、根据各个sql作业的作业类型确定各自对应的中间服务器节点和集群节点；
13、将每个sql作业经由其对应的中间服务器节点提交至该sql作业对应的集群节点并运行。
14、在一个实施例中，在所述将每个sql作业经由其对应的中间服务器节点提交至该sql作业对应的集群节点并运行之时或之后，还包括：
15、应用所述中间服务器节点将其对应的sql作业的运行信息记录在预设的作业元数据表中，每个sql作业的运行信息包括：该sql作业对应的唯一标识、第一进程唯一标识、第二进程唯一标识、作业运行时长以及作业运行状态；
16、相对应的，所述监测分布式集群对应的批量sql作业中是否存在满足预设的慢作业条件的sql作业，包括：
17、应用所述预设的作业元数据表监测分布式集群对应的批量sql作业中是否存在满足预设的慢作业条件的sql作业。
18、在一个实施例中，所述根据所述第二进程唯一标识，完成所述目标集群节点中该慢作业对应的进程的查杀处理，包括：
19、验证所述目标中间服务器节点中是否存在所述慢作业对应的进程，若否，则确定验证通过，根据所述第二进程唯一标识，完成所述目标集群节点中该慢作业对应的进程的查杀处理。
20、在一个实施例中，所述完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理，包括：
21、获取所述目标集群节点对应的剩余队列资源；
22、判断所述剩余队列资源是否满足预设的队列资源条件，若是，则将所述慢作业加入预设的待查杀队列中；
23、当所述慢作业从所述预设的待查杀队列输出后，完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理。
24、在一个实施例中，在所述判断所述剩余队列资源是否满足预设的队列资源条件之后，还包括：
25、若所述剩余队列资源不满足预设的队列资源条件，则输出队列资源告警信息。
26、第二方面，本申请提供一种分布式集群的作业查杀装置，包括：
27、监测模块，用于监测分布式集群对应的批量sql作业中是否存在满足预设的慢作业条件的sql作业，若是，则将所述满足预设的慢作业条件的sql作业确定为慢作业，所述分布式集群包括：多类集群节点，各类集群节点对应的中间服务器节点不同，所述预设的慢作业条件包括：作业运行状态为正在运行并且运行时长超过运行时长阈值；
28、查杀模块，用于获取所述慢作业的唯一标识，根据所述慢作业的唯一标识，确定所述慢作业对应的目标集群节点以及目标中间服务器节点，完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理。
29、在一个实施例中，所述查杀模块，包括：
30、获得单元，用于根据所述慢作业的唯一标识，获得所述目标中间服务器节点中该慢作业对应的第一进程唯一标识以及所述目标集群节点中该慢作业对应的第二进程唯一标识；
31、第一查杀单元，用于根据所述第一进程唯一标识，完成所述目标中间服务器节点中该慢作业对应的进程的查杀处理；
32、第二查杀单元，用于根据所述第二进程唯一标识，完成所述目标集群节点中该慢作业对应的进程的查杀处理。
33、在一个实施例中，所述的分布式集群的作业查杀装置，还包括：
34、获取模块，用于获取批量sql作业；
35、确定模块，用于根据各个sql作业的作业类型确定各自对应的中间服务器节点和集群节点；
36、运行模块，用于将每个sql作业经由其对应的中间服务器节点提交至该sql作业对应的集群节点并运行。
37、在一个实施例中，所述的分布式集群的作业查杀装置，还包括：
38、记录模块，用于应用所述中间服务器节点将其对应的sql作业的运行信息记录在预设的作业元数据表中，每个sql作业的运行信息包括：该sql作业对应的唯一标识、第一进程唯一标识、第二进程唯一标识、作业运行时长以及作业运行状态；
39、相对应的，所述监测模块包括：
40、监测单元，用于应用所述预设的作业元数据表监测分布式集群对应的批量sql作业中是否存在满足预设的慢作业条件的sql作业。
41、在一个实施例中，所述第二查杀单元用于执行：
【技术保护点】
1.一种分布式集群的作业查杀方法，其特征在于，包括：
2.根据权利要求1所述的分布式集群的作业查杀方法，其特征在于，所述完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理，包括：
3.根据权利要求1所述的分布式集群的作业查杀方法，其特征在于，还包括：
4.根据权利要求3所述的分布式集群的作业查杀方法，其特征在于，在所述将每个SQL作业经由其对应的中间服务器节点提交至该SQL作业对应的集群节点并运行之时或之后，还包括：
5.根据权利要求2所述的分布式集群的作业查杀方法，其特征在于，所述根据所述第二进程唯一标识，完成所述目标集群节点中该慢作业对应的进程的查杀处理，包括：
6.根据权利要求1所述的分布式集群的作业查杀方法，其特征在于，所述完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理，包括：
7.根据权利要求6所述的分布式集群的作业查杀方法，其特征在于，在所述判断所述剩余队列资源是否满足预设的队列资源条件之后，还包括：
8.一种分布式集群的作业查杀
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的分布式集群的作业查杀方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至7任一项所述的分布式集群的作业查杀方法。
...【技术特征摘要】
1.一种分布式集群的作业查杀方法，其特征在于，包括：
2.根据权利要求1所述的分布式集群的作业查杀方法，其特征在于，所述完成所述目标集群节点以及目标中间服务器节点中的所述慢作业对应的进程的查杀处理，包括：
3.根据权利要求1所述的分布式集群的作业查杀方法，其特征在于，还包括：
4.根据权利要求3所述的分布式集群的作业查杀方法，其特征在于，在所述将每个sql作业经由其对应的中间服务器节点提交至该sql作业对应的集群节点并运行之时或之后，还包括：
5.根据权利要求2所述的分布式集群的作业查杀方法，其特征在于，所述根据所述第二进程唯一标识，完成所述目标集群节点中该慢作业对应的进程的查杀处理，包括：
6.根据权利要求1所述...
【专利技术属性】
技术研发人员：宋哲，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。