作业调度方法及装置制造方法及图纸

本申请实施例提供一种作业调度方法及装置，可用于大数据技术领域，方法包括：周期性轮询服务云平台对应的一数据库，若该数据库当前存在待执行的目标应用的作业，则获取该目标应用的作业信息及对应的作业脚本；判断目标应用当前在其对应的目标集群中并行的作业数是否小于最大作业数阈值，若否，则基于目标应用对应的执行节点根据目标应用的作业信息及对应的作业脚本在服务云平台对应的目标集群中执行目标应用的作业。本申请能够在提高针对服务云平台的作业调度的时效性的基础上，有效降低作业调度的技术风险，保证服务云平台的应用安全性及运行稳定，能够降低对服务云平台进行作业调度的技术门槛，有效提高用户将应用接入服务云平台的用户体验。务云平台的用户体验。务云平台的用户体验。

【技术实现步骤摘要】
作业调度方法及装置


[0001]本申请涉及数据处理
，特别涉及大数据
，具体涉及作业调度方法及装置。

技术介绍

[0002]企业的大数据服务云平台为各类专业大数据分析应用提供数据接入、存储、计算、安全管理、资源管理等服务。随着平台构建的不断完善，其技术体系日益庞大，承载的业务功能日益丰富，在平台运维体系不断扩大的同时，各大企业将大数据视作战略资源，Hadoop生态系统的应用范围愈发广泛。
[0003]调度作为企业大数据平台对各业务运行的管理方式，常规调度为离线批处理，但由于目前业务时效性要求越来越高，常规的批处理已经不能满足各应用接入使用，更多实时批处理、实时数据分析挖掘等任务在集群上执行。离线批处理不能满足时效性要求，但让应用直连集群又有技术风险和技术门槛。也就是说，现有的针对服务云平台的作业调度方式存在无法同时满足时效性要求、安全性要求和降低技术门槛要求等问题。

技术实现思路

[0004]针对现有技术中的问题，本申请提供一种作业调度方法及装置，能够在提高针对服务云平台的作业调度的时效性的基础上，有效降低作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业调度方法，其特征在于，包括：周期性轮询服务云平台对应的一数据库，若该数据库当前存在待执行的目标应用的作业，则获取该目标应用的作业信息及对应的作业脚本；判断所述目标应用当前在其对应的目标集群中并行的作业数是否小于最大作业数阈值，若否，则基于所述目标应用对应的执行节点根据所述目标应用的作业信息及对应的作业脚本在所述服务云平台对应的所述目标集群中执行所述目标应用的作业。2.根据权利要求1所述的作业调度方法，其特征在于，还包括：基于预设的应用服务器接收作业调度请求，其中，该作业调度请求中包含有：待接入所述服务云平台的应用的标识、作业信息和作业脚本；将待接入所述服务云平台的应用的标识、作业信息和作业脚本之间的对应关系作为一待执行的目标应用的作业，并将该待执行的目标应用的作业存储至所述服务云平台对应的数据库内的作业调度表中。3.根据权利要求1所述的作业调度方法，其特征在于，在所述判断所述目标应用当前在其对应的目标集群中并行的作业数是否小于最大作业数阈值之前，还包括：自预设的应用登陆信息表中调取所述目标应用待接入的集群信息和集群类型，其中，该应用登陆信息表用于存储各个应用的标识、集群信息和集群类型之间的对应关系；根据所述集群类型分别确定所述目标应用对应的目标集群和该目标集群对应的执行节点。4.根据权利要求1所述的作业调度方法，其特征在于，在所述判断所述目标应用当前在其对应的目标集群中并行的作业数是否小于最大作业数阈值之前，还包括：自预设的应用作业控制表中调取所述目标应用对应在目标集群中的最大作业数阈值，其中，该应用作业控制表用于存储各个应用的标识、...

【专利技术属性】
技术研发人员：王泽普，张世瑛，赵吉昆，梁晔华，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：