一种分布式统一调度方法及设备技术

本发明专利技术涉及一种分布式统一调度方法，在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中，执行以下步骤：客户端生成作业运行所需的条件，并将生成的条件发送至条件管理服务器；条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足，获取满足运行条件的作业并分发给调度服务器，当存在多个调度服务器时，根据各调度服务器的忙闲程度分配至各调度服务器；调度服务器根据作业的运行节点，将作业发送至对应运行节点的调度代理服务器；调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器；调度服务器在该作业完成后，向资源管理服务器发起请求，释放消耗的资源量。

【技术实现步骤摘要】
一种分布式统一调度方法及设备
本专利技术涉及一种分布式统一调度方法及设备，属于通信领域。
技术介绍
随着企业信息化建设的深入，数据的价值越来越重要，系统间的批量数据交换、各系统的批处理调度需求成了不可或缺的要素。在企业各系统的批处理环节，批处理多使用各自单独的调度(或手工调度)，系统间互相依赖的任务不能及时调度，而且调度资源分散，调度重复部署，不利于系统间批处理数据流动的交互协调。
技术实现思路
为了解决上述现有技术中存在的问题，本专利技术提供一种分布式统一调度方法及设备，解决现有技术中，调度资源分散，调度重复部署的问题。本专利技术的技术方案如下：技术方案一：一种分布式统一调度方法，在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中，分别相应执行以下步骤：客户端生成作业运行所需的条件，并将生成的条件发送至条件管理服务器；条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足，获取满足运行条件的作业并分发给调度服务器，当存在多个调度服务器时，根据各调度服务器的忙闲程度均衡分配至各调度服务器；调度服务器根据待运行的作业，向资源管理服务器发起请求，申请待运行的作业所需要的资源，当存在多个资源管理服务器时，调度服务器轮流向各资源管理服务器发起请求；资源管理服务器确定该作业的运行节点并并分配该作业需消耗的资源量至调度服务器；调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器；调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器；调度服务器在该作业完成后，向资源管理服务器发起请求，资源管理服务器收到请求后，释放该作业消耗的资源量。作为优选，当存在多个调度服务器时，在条件管理服务器中，还执行以下步骤：条件管理服务器判断任一调度服务器是否可用；当其中一调度服务器处于不可用状态时，条件管理服务器对该调度服务器进行隔离，不再向该调度服务器分发作业；在一调度服务器被隔离后，条件管理服务器定期判断该调度服务器是否可用，当该调度服务器恢复成可用状态时，条件管理服务器取消对该调度服务器的隔离，能够继续向该调度服务器分发作业。作为优选，当存在多个资源管理服务器时，在调度服务器中，还执行以下步骤：调度服务器判断任一资源管理服务器是否可用；当其中一资源管理服务器处于不可用状态时，调度服务器对该资源管理服务器进行隔离，不再向该资源管理服务器发起请求；当一资源管理服务器被隔离后，调度服务器定期判断该资源管理服务器是否可用，当该资源管理服务器恢复成可用状态时，调度服务器取消对该资源管理服务器的隔离，能够继续向该资源管理服务器发起请求。作为优选，在执行所述调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器步骤之前，还包括以下步骤：调度服务器判断对应运行节点的调度代理服务器是否可用；当该调度代理服务器处于不可用状态时，调度服务器对该调度代理服务器进行隔离，不再向该调度代理服务器发送作业；当该调度代理服务器被隔离后，调度服务器定期判断该调度代理服务器是否可用，当该调度代理服务器恢复成可用状态时，调度服务器取消对该调度代理服务器的隔离，能够继续向该调度代理服务器发送作业。作为优选，在执行所述调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器步骤时，调度代理服务器默认将该作业的运行状态发送给原该作业所在的调度服务器，在调度代理服务器发送该作业的运行状态之前，还包括以下步骤：调度代理服务器判断待发送端的调度服务器是否可用；当该调度服务器处于不可用状态时，调度代理服务器对该调度服务器进行隔离，不再发送作业的运行状态至该调度服务器；如存在多个调度服务器，则将作业的运行状态按顺序发送至其他调度服务器；当一调度服务器被隔离后，调度代理服务器定期判断该调度服务器是否可用，当调度服务器恢复成可用状态时，调度代理服务器取消对该调度服务器的隔离，能够继续向该调度服务器发送作业运行状态。技术方案二：一种分布式统一调度设备，包括存储器、处理器以及分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器；所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：客户端生成作业运行所需的条件，并将生成的条件发送至条件管理服务器；条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足，获取满足运行条件的作业并分发给调度服务器，当存在多个调度服务器时，根据各调度服务器的忙闲程度均衡分配至各调度服务器；调度服务器根据待运行的作业，向资源管理服务器发起请求，申请待运行的作业所需要的资源，当存在多个资源管理服务器时，调度服务器轮流向各资源管理服务器发起请求；资源管理服务器确定该作业的运行节点并并分配该作业需消耗的资源量至调度服务器；调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器；调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器；调度服务器在该作业完成后，向资源管理服务器发起请求，资源管理服务器收到请求后，释放该作业消耗的资源量。作为优选，当存在多个调度服务器时，在条件管理服务器中，还执行以下步骤：条件管理服务器判断任一调度服务器是否可用；当其中一调度服务器处于不可用状态时，条件管理服务器对该调度服务器进行隔离，不再向该调度服务器分发作业；在一调度服务器被隔离后，条件管理服务器定期判断该调度服务器是否可用，当该调度服务器恢复成可用状态时，条件管理服务器取消对该调度服务器的隔离，能够继续向该调度服务器分发作业。作为优选，当存在多个资源管理服务器时，在调度服务器中，还执行以下步骤：调度服务器判断任一资源管理服务器是否可用；当其中一资源管理服务器处于不可用状态时，调度服务器对该资源管理服务器进行隔离，不再向该资源管理服务器发起请求；当一资源管理服务器被隔离后，调度服务器定期判断该资源管理服务器是否可用，当该资源管理服务器恢复成可用状态时，调度服务器取消对该资源管理服务器的隔离，能够继续向该资源管理服务器发起请求。作为优选，在执行所述调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器步骤之前，还包括以下步骤：调度服务器判断对应运行节点的调度代理服务器是否可用；当该调度代理服务器处于不可用状态时，调度服务器对该调度代理服务器进行隔离，不再向该调度代理服务器发送作业；当该调度代理服务器被隔离后，调度服务器定期判断该调度代理服务器是否可用，当该调度代理服务器恢复成可用状态时，调度服务器取消对该调度代理服务器的隔离，能够继续向该调度代理服务器发送作业。作为优选，在执行所述调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器步骤时，调度代理服务器默认将该作业的运行状态发送给原该作业所在的调度服务器，在调度代理服务器发送该作业的运行状态之前，还包括以下步骤：调度代理服务器判断待发送端的调度服务器是否可用；当该调度服务器处于不可用状态时，调度代理服务器对该调度服务器进行隔离，不再发送作业的运行状态至该调度服务器；如存在多个调度服务器，则将作业的运行状态按顺序发送至其他调度服务器；当一调度服务器被隔离后，调本文档来自技高网...

【技术保护点】
1.一种分布式统一调度方法，其特征在于，在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中，分别相应执行以下步骤：客户端生成作业运行所需的条件，并将生成的条件发送至条件管理服务器；条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足，获取满足运行条件的作业并分发给调度服务器，当存在多个调度服务器时，根据各调度服务器的忙闲程度均衡分配至各调度服务器；调度服务器根据待运行的作业，向资源管理服务器发起请求，申请待运行的作业所需要的资源，当存在多个资源管理服务器时，调度服务器轮流向各资源管理服务器发起请求；资源管理服务器确定该作业的运行节点并分配该作业需消耗的资源量至调度服务器；调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器；调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器；调度服务器在该作业完成后，向资源管理服务器发起请求，资源管理服务器收到请求后，释放该作业消耗的资源量。

【技术特征摘要】
1.一种分布式统一调度方法，其特征在于，在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中，分别相应执行以下步骤：客户端生成作业运行所需的条件，并将生成的条件发送至条件管理服务器；条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足，获取满足运行条件的作业并分发给调度服务器，当存在多个调度服务器时，根据各调度服务器的忙闲程度均衡分配至各调度服务器；调度服务器根据待运行的作业，向资源管理服务器发起请求，申请待运行的作业所需要的资源，当存在多个资源管理服务器时，调度服务器轮流向各资源管理服务器发起请求；资源管理服务器确定该作业的运行节点并分配该作业需消耗的资源量至调度服务器；调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器；调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器；调度服务器在该作业完成后，向资源管理服务器发起请求，资源管理服务器收到请求后，释放该作业消耗的资源量。2.根据权利要求1所述的一种分布式统一调度方法，其特征在于，当存在多个调度服务器时，在条件管理服务器中，还执行以下步骤：条件管理服务器判断任一调度服务器是否可用；当其中一调度服务器处于不可用状态时，条件管理服务器对该调度服务器进行隔离，不再向该调度服务器分发作业；在一调度服务器被隔离后，条件管理服务器定期判断该调度服务器是否可用，当该调度服务器恢复成可用状态时，条件管理服务器取消对该调度服务器的隔离，能够继续向该调度服务器分发作业。3.根据权利要求1所述的一种分布式统一调度方法，其特征在于，当存在多个资源管理服务器时，在调度服务器中，还执行以下步骤：调度服务器判断任一资源管理服务器是否可用；当其中一资源管理服务器处于不可用状态时，调度服务器对该资源管理服务器进行隔离，不再向该资源管理服务器发起请求；当一资源管理服务器被隔离后，调度服务器定期判断该资源管理服务器是否可用，当该资源管理服务器恢复成可用状态时，调度服务器取消对该资源管理服务器的隔离，能够继续向该资源管理服务器发起请求。4.根据权利要求1所述的一种分布式统一调度方法，其特征在于，在执行所述调度服务器根据待运行的作业的运行节点，将作业发送至对应运行节点的调度代理服务器步骤之前，还包括以下步骤：调度服务器判断对应运行节点的调度代理服务器是否可用；当该调度代理服务器处于不可用状态时，调度服务器对该调度代理服务器进行隔离，不再向该调度代理服务器发送作业；当该调度代理服务器被隔离后，调度服务器定期判断该调度代理服务器是否可用，当该调度代理服务器恢复成可用状态时，调度服务器取消对该调度代理服务器的隔离，能够继续向该调度代理服务器发送作业。5.根据权利要求1所述的一种分布式统一调度方法，其特征在于，在执行所述调度代理服务器执行并完成作业，并在完成该作业后，将该作业的运行状态发送给调度服务器步骤时，调度代理服务器默认将该作业的运行状态发送给原该作业所在的调度服务器，在调度代理服务器发送该作业的运行状态之前，还包括以下步骤：调度代理服务器判断待发送端的调度服务器是否可用；当该调度服务器处于不可用状态时，调度代理服务器对该调度服务器进行隔离，不再发送作业的运行状态至该调度服务器；如存在多个调度服务器，则将作业的运行状态发送至其他调度服务器；当一调度服务器被隔离后，调度代理服务器定期判断该调度服务器是否可用，当调度服务器恢复成可用状态时，调度代理服务器取消对该调度服务器的隔离，能够继续向该调度服务器发送作业运行状态。6.一种分布式统一调度设备，其特征...

【专利技术属性】
技术研发人员：陈成乐，邱涛，翁安栋，
申请(专利权)人：厦门商集网络科技有限责任公司，
类型：发明
国别省市：福建,35