提升广域多集群分布式系统执行任务效率的方法及装置制造方法及图纸

本说明书公开了提升广域多集群分布式系统执行任务效率的方法及装置，在广域多集群分布式系统的各子队列中确定待执行任务，再确定该待执行任务的时延、执行该待执行任务的目标集群及该待执行任务所需的资源所在的集群，最后，根据时延将所需的资源调度至目标集群。在广域多集群分布式系统中，由于集群数量较多，各集群之间的物理距离较远，执行分布式任务时，会存在各种时延，降低了执行任务的效率，因此，本方法通过确定广域多集群分布式系统中待执行任务的时延，在执行当前任务的同时，根据该时延将执行该任务的数据提前调度到目标集群，在执行待执行任务时，不再需要等待所需数据的调度，提高了处理广域多集群分布式任务的效率。效率。效率。

【技术实现步骤摘要】
提升广域多集群分布式系统执行任务效率的方法及装置


[0001]本说明书涉及计算机领域，尤其涉及提升广域多集群分布式系统执行任务效率的方法及装置。

技术介绍

[0002]随着计算机技术的发展，利用单集群执行分布式任务越来越常见，但随着业务需求的变化，完成业务所要执行的任务增多，单集群环境无法满足业务需求，因此，为了能完成需要执行的任务，任务运行的环境从单集群环境发展为多集群环境，若多集群环境中的各集群物理距离较远，则称该多集群环境为广域多集群环境。对于广域多集群环境来说，由于每个集群之间的距离较远，因此，利用物理线路及多个中间路由器实现通信的成本较高，并且在跨集群通信时，存在通信时延。
[0003]因此，在广域多集群环境中，如何提高处理分布式任务的效率是个亟待解决的问题。

技术实现思路

[0004]本说明书提供提升广域多集群分布式系统执行任务效率的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
[0005]本说明书采用下述技术方案：本说明书提供了提升广域多集群分布式系统执行任务效率的方法，分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升广域多集群分布式系统执行任务效率的方法，其特征在于，分布式系统由分布在广域的多个集群构成，所述方法包括：确定由分布式任务中的各子任务构成的子任务队列；在所述子任务队列中，确定执行顺序在当前执行的任务之后的待执行任务；根据所述待执行任务，确定所述待执行任务的信息，作为第一信息；根据所述第一信息和每个集群的可用资源，在各集群中，确定执行所述待执行任务的目标集群；确定所述目标集群的时延因素信息；将所述时延因素信息输入预先训练的通信时延预测模型，以通过所述通信时延预测模型确定时延；根据所述时延，确定调度所述待执行任务的调度时间提前量；根据所述调度时间提前量，将所述待执行任务调度至所述目标集群。2.权利要求1所述的方法，其特征在于，确定执行顺序在当前执行的任务之后的待执行任务，具体包括：确定预设数量的执行顺序在当前执行的任务之后的待执行任务。3.权利要求1所述的方法，其特征在于，根据所述第一信息和每个集群的可用资源，在各集群中，确定执行所述待执行任务的目标集群，具体包括：根据所述第一信息，确定执行所述待执行任务的资源；根据执行所述待执行任务的资源及每个集群的可用资源，在各集群中，确定可用资源不少于执行所述待执行任务的资源的集群，作为目标集群。4.权利要求1所述的方法，其特征在于，确定所述目标集群的时延因素信息，具体包括：根据执行所述待执行任务所需的数据所在的集群，确定发送所述所需的数据的发送时延因素信息，作为第一因素信息；根据所述目标集群，确定接收所述所需的数据的接收时延因素信息，作为第二因素信息；根据所述分布式系统中所述所需的数据所在的集群到所述目标集群的传输链路中的中转设备，确定传输所述所需的数据时的中转处理时延因素信息，作为第三因素信息；根据所述分布式系统中所述所需的数据所在的集群到所述目标集群的物理链路，确定传输所述所需的数据的物理传输时延因素信息，作为第四因素信息；根据所述第一因素信息、所述第二因素信息、所述第三因素信息及所述第四因素信息中至少一种，确定时延因素信息。...

【专利技术属性】
技术研发人员：白文媛，高丰，毛良献，
申请(专利权)人：之江实验室，
类型：发明
国别省市：