一种跨集群任务调度方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种跨集群任务调度方法、装置、计算机设备及存储介质，涉及计算机技术领域。所述方法是在接收来自第一集群的任务调度请求消息后，先根据该消息中的调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，然后向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以及向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便这两集群应用对应的预先约定非对称密钥加密和解密所述调度目标任务的任务调度交接数据，并通过区块链的新区块进行任务调度交接密文的广播式直传，最终实现任务调度转移。终实现任务调度转移。终实现任务调度转移。

【技术实现步骤摘要】
一种跨集群任务调度方法、装置、计算机设备及存储介质


[0001]本专利技术属于计算机
，具体涉及一种跨集群任务调度方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着数据处理规模的增长，传统的单机计算模式已经不能满足日益增长的信息服务需求。集群(cluster)是一组相互独立的且通过高速网络互联的计算机，它们构成了一个计算组，并可以统一的方式进行管理。集群可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够降低整体运维成本，因此得到了越来越多的应用。
[0003]然而，随着大数据技术的发展和企业数据仓库中离线计算任务数据规模的膨胀，单独搭建计算集群带来的成本越来越高昂，越来越多的用户倾向于不再为离线的计算服务单独建立集群和机房，而是将在线业务与离线业务混布在同一个集群。混布集群只承担计算任务而不承担存储任务，以达到节约成本的目的。这时，需要把一部分在离线集群运行的计算任务调度到混布集群上运行。因此，如何实现跨集群的任务调度成为一个值得关注的问题。
[0004]目前，现有技术存在一种跨集群任务调度方案，可以将特定业务或项目下的所有任务从一个集群调度到另一个集群上。但是这种方案未考虑到在跨集群隐私计算（即指在多个计算集群间进行安全的数据共享和计算，保证敏感数据的隐私性和安全性）方面的需求，导致在跨集群任务调度过程中可能存在任务数据泄漏和影响跨集群隐私计算协同一致的问题。

技术实现思路

[0005]本专利技术的目的是提供一种跨集群任务调度方法、装置、计算机设备及计算机可读存储介质，用以解决现有跨集群任务调度方案在跨集群任务调度过程中可能存在任务数据泄漏和影响跨集群隐私计算协同一致的问题。
[0006]为了实现上述目的，本专利技术采用以下技术方案：第一方面，提供了一种跨集群任务调度方法，由通信连接至少两个集群的任务调度协调服务器执行，包括：接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二
集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
[0007]基于上述
技术实现思路
，提供了一种基于区块链技术和非对称加密技术的跨集群任务调度新方案，即在接收来自第一集群的任务调度请求消息后，先根据该消息中的调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，然后向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以及向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便这两集群应用对应的预先约定非对称密钥加密和解密所述调度目标任务的任务调度交接数据，并通过区块链的新区块进行任务调度交接密文的广播式直传，最终实现所述调度目标任务的调度转移，如此可在跨集群任务调度过程中完全杜绝任务数据泄漏，以及由于密文是在两集群间广播式直传，还可以确保跨集群隐私计算协同一致，便于实际应用和推广。
[0008]在一个可能的设计中，所述当前任务特征包含有任务的当前输入数据量、当前输出数据量、当前消耗计算资源量、当前中间结果存储数据量和/或当前内存占用量。
[0009]在一个可能的设计中，所述当前集群特征包含有集群的当前下行带宽大小、当前上行带宽大小、当前计算资源剩余量、当前磁盘剩余容量和/或当前内存剩余容量。
[0010]在一个可能的设计中，根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：根据所述调度目标任务的当前任务特征与待选集群的当前集群特征，采用树搜索算法从所述待选集群中确定出最适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群。
[0011]在一个可能的设计中，所述方法还包括：接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的且处于任务运行低峰时刻状态的其它集群，所述第二集群属于所述待选集群。
[0012]在一个可能的设计中，在接收来自第一集群的任务调度请求消息之前，所述方法还包括：接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；根据所述各个集群的任务运行报告消息，判断是否存在有当前处于任务运行低峰时刻状态的集群以及当前处于任务运行高峰时刻状态的集群；若存在，则向当前处于任务运行高峰时刻状态的集群发送任务调度许可消息，以便接收到所述任务调度许可消息的集群触发传送所述任务调度请求消息。
[0013]在一个可能的设计中，在向所述第二集群反馈携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息之后,所述方法还包括：向所述第一集群转发来自所述第二集群的且与所述任务调度指示消息对应的任务接手成功消息，以便所述第一集群在收到所述任务接手成功消息后触发终止运行所述调度目标任务，其中，所述任务接手成功消息由所述第二集群在成功运行所述调度目标任务时发送。
[0014]第二方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨集群任务调度方法，其特征在于，由通信连接至少两个集群的任务调度协调服务器执行，包括：接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。2.根据权利要求1所述的跨集群任务调度方法，其特征在于，所述当前任务特征包含有任务的当前输入数据量、当前输出数据量、当前消耗计算资源量、当前中间结果存储数据量和/或当前内存占用量。3.根据权利要求1所述的跨集群任务调度方法，其特征在于，所述当前集群特征包含有集群的当前下行带宽大小、当前上行带宽大小、当前计算资源剩余量、当前磁盘剩余容量和/或当前内存剩余容量。4.根据权利要求1所述的跨集群任务调度方法，其特征在于，根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：根据所述调度目标任务的当前任务特征与待选集群的当前集群特征，采用树搜索算法从所述待选集群中确定出最适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群。5.根据权利要求1所述的跨集群任务调度方法，其特征在于，所述方法还包括：接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定
出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的且处于任务运行低峰时刻状态的其它集群，所述第二集群属于所述待选集群。6.根据权利要求1所述的跨集群任务调度方法，其特征在于，在接收来自第一集群的任务调度请求消息之前，所述方法还包括：接收由在所述至少两个集群中的...

【专利技术属性】
技术研发人员：杨圣坤，史汉青，石峰，晁高锋，
申请(专利权)人：金网络北京数字科技有限公司，
类型：发明
国别省市：