【技术实现步骤摘要】
本申请涉及算力网络，尤其涉及一种作业调度方法、装置及相关设备。
技术介绍
1、算力网络(computing network)，是一种在云、边、端之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施，能够将不同地域中具有异构计算资源的数据中心互联形成计算网络，通过对网络、存储、计算等多维度资源进行统筹调度，能够实时、按需调用不同地域的资源处理作业。
2、在算力网络中，对于用户提交的作业，调度器通常会基于先来先服务(first-comefirst-service，fcfs)等算法，将该作业调度至算力网络中的数据中心进行执行；当用户提交的作业包括多个子作业时，调度器会将该多个子作业依次调度至算力网络中的不同数据中心，以便由不同数据中心分别执行不同的子作业。但是，在执行多个子作业的过程中，不同数据中心之间通常会进行数据通信，如各个数据中心间传输各自执行子作业所得到的执行结果等，这就使得不同数据中心之间的数据传输容易导致执行用户提交的作业所产生的通信开销较大。
3、因此，如何减小执行用户提交的作业(包括多个子作业)所产生的通信开销，成为亟需解决的重要问题。
技术实现思路
1、本申请提供了一种作业调度方法，通过将用户提交的作业中的多个子作业调度至一组通信开销较小的数据中心进行处理，实现有效降低执行多个子作业(也即用户提交的作业)所产生的通信开销。此外，本申请还提供了对应的调度器、计算设备、计算机可读存储介质以及计算机程序产品。
2、第一方面
3、由于调度器根据资源拓扑关系，将同一作业的多个子作业分别调度至属于同一聚类结果下的多个数据中心，而属于同一聚类结果的不同数据中心之间的通信开销小于属于不同聚类结果下的数据中心之间的通信开销，这使得多个数据中心在执行多个子作业的过程中，不同数据中心之间进行数据交互所产生的通信开销较小，从而可以减少执行多个子作业所产生的通信开销。
4、在一种可能的实施方式中，调度器在生成资源拓扑关系时，具体可以是根据网络拓扑关系以及可用资源量集合，提取该多个数据中心中有可用资源的数据中心的结构特征以及通信特征，该结构特征用于指示多个数据中心有可用资源的数据中心之间的连接关系，该通信特征用于指示多个数据中心中有可用资源的数据中心之间的通信开销大小，从而调度器可以根据该结构特征以及通信特征，生成资源拓扑关系。如此，调度器可以将算力网络中具有相近结构和通信开销的多个数据中心聚集为一个类别，从而可以生成用于指示所述多个数据中心中有可用资源的数据中心的聚类结果的资源拓扑关系，以便后续根据该资源拓扑关系调度多个子作业。
5、在一种可能的实施方式中，调度器在生成资源拓扑关系之前，可以根据可用资源量集合提取多个数据中心有可用资源的数据中心的资源特征，从而调度器可以根据该多个数据中心中有可用资源的数据中心的结构特征、通信特征以及资源特征，生成资源拓扑关系。如此，调度器不仅可以将算力网络中具有相近结构和通信开销的多个数据中心聚集为一个类别，而且，属于同一类别下的不同数据中心之间的可用资源量处于相似水平，从而调度器在根据资源拓扑关系调度多个子作业时，可以将多个子作业分别调度至资源情况相近的多个数据中心。
6、在一种可能的实施方式中，调度器在生成资源拓扑关系时，具体可以是根据网络拓扑关系以及可用资源量集合，对多个数据中心中具有可用资源的数据中心进行聚类，得到至少一个聚类结果，从而根据该可用资源量集合以及至少一个聚类结果，生成资源拓扑关系。如此，可以通过聚类的方式生成资源拓扑关系。
7、示例性地，聚类数据中心采用的算法，例如可以是k-means聚类算法、dbscan算法、或optics算法，或者可以通过其它可适用的聚类算法。
8、第二方面，本申请提供一种调度器，所述调度器包括用于执行第一方面或第一方面任一种可能实现方式中的作业调度方法的各个模块。
9、第三方面，本申请提供一种处理器，该处理器可以与存储器连接，用于执行存储器中存储的指令，以使得该处理器执行如第一方面或第一方面的任一种实现方式中的作业调度方法的步骤。
10、第四方面，本申请提供一种调度器，所述计算设备包括处理器、存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行存储器中存储的指令，以使得调度器执行如第一方面或第一方面的任一种实现方式中的作业调度方法。需要说明的是，该存储器可以集成于处理器中，也可以是独立于处理器之外。计算设备还可以包括总线。其中，处理器通过总线连接存储器。其中，存储器可以包括可读存储器以及随机存取存储器。
11、第五方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算设备上运行时，使得计算设备执行上述第一方面或第一方面的任一种实现方式所述作业调度方法的操作步骤。
12、第六方面，本申请提供了一种包含指令的计算机程序产品，当其在计算设备上运行时，使得计算设备执行上述第一方面或第一方面的任一种实现方式所述作业调度方法的操作步骤。
13、本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
本文档来自技高网...【技术保护点】
1.一种作业调度方法，其特征在于，所述方法应用于算力网络，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述网络拓扑关系和所述可用资源量集合，生成资源拓扑关系，包括：
3.根据权利要求2所述的方法，其特征在于，在生成所述资源拓扑关系之前，所述方法还包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述网络拓扑关系和所述可用资源量集合，生成资源拓扑关系，包括：
5.一种调度器，其特征在于，所述调度器应用于算力网络，所述调度器包括：
6.根据权利要求5所述的调度器，其特征在于，所述生成模块，用于：
7.根据权利要求6所述的调度器，其特征在于，生成模块，还用于在生成所述资源拓扑关系之前，根据所述可用资源量集合，提取所述多个数据中心中有可用资源的数据中心的资源特征；
8.根据权利要求5至7任一项所述的调度器，其特征在于，所述生成模块，用于：
9.一种处理器，其特征在于，所述处理器与存储器连接，所述处理器用于执行所述存储器中存储的指令，以使所述处理器执行如权利要求1
10.一种调度器，其特征在于，包括处理器、存储器；
...【技术特征摘要】
1.一种作业调度方法，其特征在于，所述方法应用于算力网络，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述网络拓扑关系和所述可用资源量集合，生成资源拓扑关系，包括：
3.根据权利要求2所述的方法，其特征在于，在生成所述资源拓扑关系之前，所述方法还包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述网络拓扑关系和所述可用资源量集合，生成资源拓扑关系，包括：
5.一种调度器，其特征在于，所述调度器应用于算力网络，所述调度器包括：
6.根据权利要求5...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。