计算资源的调度方法及装置制造方法及图纸

本申请提供一种计算资源的调度方法及装置。该方法实现了在leaf交换机中单独一个接口板无法满足计算任务需要占用的计算资源时，利用多个接口板上的计算资源分别并行处理该计算任务的各计算子任务，以协作完成该计算任务，从而降低接口板的空闲计算资源被空置的概率，提高在网计算中的计算资源的利用率，从而提高在网计算的效率。提高在网计算的效率。提高在网计算的效率。

【技术实现步骤摘要】
计算资源的调度方法及装置


[0001]本申请涉及通信
，尤其涉及计算资源的调度方法及装置。

技术介绍

[0002]随着高性能计算（High Performance Computing，HPC）的兴起，集合通信系统由于利用集合操作替换大量点对点操作能够有效提高计算性能而被广泛应用。在集合通信系统中，数据处理和计算过程都是由服务器完成，服务器需要通道多次大量的数据通信交互完成任务计算，大量的时间都耗费在服务器的通信延迟上。基于此，为了进一步提高计算效率，业内提出在网计算（In
‑
network Computing，INC）技术，在网计算技术把计算卸载到通信的交换机上，从而减少数据的通信次数，降低完成计算任务的通信等待时间，提升计算效率，完成高性能数据计算功能。
[0003]在在网计算中，为了兼备计算和通信功能，交换机的各接口板会配置硬件计算单元（记，各接口板上具有计算资源），现有的计算资源调度方式为，若交换机中的任一接口板的空闲计算资源能够满足某个计算任务的各计算子任务所需要的计算资源总和M时，则该计算任务的全部任务报文被引流到该接口板进行计算。然而，上述方式中，当各接口板都无法满足该计算任务所需要的计算资源总和M时，则该计算任务无法被分配，而此时各接口板的空闲计算资源总和很大概率会满足该计算任务占用的计算资源总量，这就造成了各接口板的空闲计算资源会被空置，即，在网计算中计算资源的利用率较低的问题。

技术实现思路

[0004]有鉴于此，本申请提供计算资源的调度方法及装置，以提高在网计算中的计算资源利用率。
[0005]第一方面，本申请实施例提供一种计算资源的调度方法，该方法应用于叶leaf交换机中的主控板，该方法包括：接收各服务器发送的任务信息；任一服务器发送的任务信息包括服务器上运行属于计算任务的计算子任务的服务器进程标识以及计算子任务需要的计算资源；依据属于计算任务的各计算子任务所需要的计算资源总和M，从各接口板中确定是否存在空闲计算资源满足M的一个接口板；如果否，则依据属于计算任务的各计算子任务所需要的计算资源以及各接口板存在的空闲计算资源，从各接口板中为各计算子任务分配对应的目标接口板，并从各接口板中指定至少一个接口板作为汇聚板；在目标接口板不为汇聚板时，下发计算任务对应的第一类映射关系和第二类映射关系至目标接口板，在目标接口板为汇聚板时，下发计算任务对应的第一类映射关系至该目标接口板；其中，第一类映射关系至少包括运行计算子任务的服务器进程标识、以及计算子任务被分配的目标接口板之间的对应关系，以使得任一目标接口板将每一服务器进程发送的任务报文转发至该服务器进程对应的目标接口板进行计算得到计算子结果；第二类映
射关系用于指示未被指定为汇聚板的各目标接口板将计算子结果发送至汇聚板进行汇总得到汇聚结果以由汇聚板输出汇聚结果。
[0006]第二方面，本申请实施例还提供一种计算资源的调度方法，该接口板包括第一标识，该方法包括：接收任务报文，任务报文包括运行计算子任务的服务器进程标识；从本地已存储的第一类映射关系中，查找与服务器进程标识对应的接口板标识；若接口板标识与第一标识不同，则向接口板标识指示的接口板发送任务报文，并由接口板标识指示的接口板对任务报文进行计算处理；若接口板标识与第一标识相同，则对任务报文进行计算处理，得到计算子结果。
[0007]第三方面，本申请实施例还提供一种计算资源的调度装置，该装置应用于叶leaf交换机中的接口板，该装置包括：第一接收模块，用于接收各服务器发送的任务信息；任一服务器发送的任务信息包括服务器上运行属于计算任务的计算子任务的服务器进程标识以及计算子任务需要的计算资源；第一确定模块，用于依据属于计算任务的各计算子任务所需要的计算资源总和M，从各接口板中确定是否存在空闲计算资源满足M的一个接口板；分配模块，用于若各接口板中不存在空闲计算资源满足M的一个接口板，则依据属于计算任务的各计算子任务所需要的计算资源以及各接口板存在的空闲计算资源，从各接口板中为各计算子任务分配对应的目标接口板，并从各接口板中指定至少一个接口板作为汇聚板；下发模块，用于在目标接口板不为汇聚板时，下发计算任务对应的第一类映射关系和第二类映射关系至目标接口板，在目标接口板为汇聚板时，下发计算任务对应的第一类映射关系至该目标接口板；其中，第一类映射关系至少包括运行计算子任务的服务器进程标识、以及计算子任务被分配的目标接口板之间的对应关系，以使得任一目标接口板将每一服务器进程发送的任务报文转发至该服务器进程对应的目标接口板进行计算得到计算子结果；第二类映射关系用于指示未被指定为汇聚板的各目标接口板将计算子结果发送至汇聚板进行汇总得到汇聚结果以由汇聚板输出汇聚结果。
[0008]第四方面，本申请实施例还提供一种计算资源的调度装置，该装置应用于叶leaf交换机中的接口板，接口板包括第一标识；该装置包括：第二接收模块，用于接收任务报文，任务报文包括运行计算子任务的服务器进程标识；查找模块，用于从本地已存储的第一类映射关系中，查找与服务器进程标识对应的接口板标识；发送模块，用于若接口板标识与第一标识不同，则向接口板标识指示的接口板发送任务报文，并由接口板标识指示的接口板对任务报文进行计算处理；处理模块，用于若接口板标识与第一标识相同，则对任务报文进行计算处理，得到计算子结果。
[0009]第五方面，本申请实施例还提供一种电子设备，包括：处理器和用于存储计算机程序指令的存储器，计算机程序指令在被处理器运行时使得处理器执行如上方法的步骤。
[0010]第六方面，本申请实施例还提供一种机器可读存储介质，该存储介质存储有计算机程序指令，当该计算机程序指令被执行时，能够实现如上方法的步骤。
[0011]由以上技术方案可以看出，leaf交换机的主控板在确定本地各接口板中不存在空闲计算资源能够满足属于计算任务的各计算子任务所需要的计算资源总和M时，依据接收的各计算子任务所需要的计算资源以及本地各接口板存在的空闲计算资源，从各接口板中为各计算子任务分配对应的目标接口板，并从各接口板中指定至少一个接口板作为汇聚板，并通过在目标接口板不为汇聚板时，下发计算任务对应的第一类映射关系和第二类映射关系至目标接口板，在目标接口板为汇聚板时，下发计算任务对应的第一类映射关系至该目标接口板，以实现在后续任一接口板接收到任务报文后按照第一类映射关系和第二类映射关系引导任务报文进行计算。这实现了在leaf交换机中单独一个接口板无法满足计算任务需要占用的计算资源时，利用多个接口板上的计算资源分别并行处理该计算任务的各计算子任务，以协作完成该计算任务，从而降低接口板的空闲计算资源被空置的概率，提高在网计算中的计算资源的利用率，从而提高在网计算的效率。
附图说明
[0012]图1为本申请一示例性实施例提供的在网计算系统的组网架构结构图；图2为本申请一示例性实施例提供的计算资源的调度方法的流程示意图；图3为本申请另一示例性实施例提供的计算资源的调度方法的流程示意图；图4为本申请一示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算资源的调度方法，其特征在于，该方法应用于主控板，所述方法包括：接收各服务器发送的任务信息；任一服务器发送的任务信息包括服务器上运行属于所述计算任务的计算子任务的服务器进程标识以及所述计算子任务需要的计算资源；依据属于所述计算任务的各计算子任务所需要的计算资源总和M，从各接口板中确定是否存在空闲计算资源满足所述M的一个接口板；如果否，则依据属于所述计算任务的各计算子任务所需要的计算资源以及各接口板存在的空闲计算资源，从各接口板中为各计算子任务分配对应的目标接口板，并从各接口板中指定至少一个接口板作为汇聚板；在目标接口板不为汇聚板时，下发所述计算任务对应的第一类映射关系和第二类映射关系至目标接口板；在目标接口板为汇聚板时，下发所述计算任务对应的第一类映射关系至该目标接口板；其中，第一类映射关系至少包括运行计算子任务的服务器进程标识、以及所述计算子任务被分配的目标接口板之间的对应关系，以使得任一目标接口板将每一服务器进程发送的任务报文转发至该服务器进程对应的目标接口板进行计算得到计算子结果；第二类映射关系用于指示未被指定为汇聚板的各目标接口板将计算子结果发送至汇聚板进行汇总得到汇聚结果以由所述汇聚板输出所述汇聚结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对每一未被指定为汇聚板的目标接口板，为该目标接口板分配对应的逻辑进程服务标识；所述逻辑进程服务标识不同于任一服务器进程标识；其中，所述第二类映射关系至少包括未被指定为汇聚板的目标接口板对应的逻辑进程标识、以及所述汇聚板之间的对应关系，以使任一未被指定为汇聚板的目标接口板依据被分配的逻辑进程服务标识和计算子结果形成新的任务报文，并依据所述第二类映射关系将所述新的任务报文转发至所述汇聚板。3.根据权利要求1所述的方法，其特征在于，所述汇聚板为其中一个目标接口板时，所述汇聚板的空闲计算资源满足该汇聚板被分配的计算子任务所需要的计算资源，以及汇聚操作所需要的计算资源；所述汇聚操作是指汇聚板对接收的各计算子结果进行汇总得到汇聚结果的操作，或者，所述汇聚板不同于目标接口板时，所述汇聚板的空闲计算资源满足汇聚操作所需要的计算资源。4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：下发所述计算任务对应的第三类映射关系至汇聚板，以使汇聚板基于第三类映射关系确定是否集齐待汇聚数据，并在确定集齐待汇聚数据时执行汇聚操作。5.一种计算资源的调度方法，其特征在于，该方法应用于接口板，所述接口板包括第一标识，所述方法包括：接收任务报文，所述任务报文包括运行计算子任务的服务器进程标识；从本地已存储的第一类映射关系中，查找与所述服务器进程标识对应的接口板标识；若所述接口板标识与所述第一标识不同，则向所述接口板标识指示的接口板发送所述任务报文，并由所述接口板标识指示的接口板对所述任务报文进行计算处理；
若所述接口板标识与所述第一标识相同，则对所述任务报文进行计算处理，得到计算子结果。6.根据权利要求5所述的方法，其特征在于，所述接收任务报文之前，所述方法还包括：当所述接口板未被主控板指定为计算任务的汇聚板时，接收所述第一类映射关系和第二类映射关系；当所述接口板被指定为所述汇聚板时，接收所述第一类映射关系；其中，所述第一类映射关系至少包括运行各计算子任务的服务器进程标识、以及各计算子任务被分配的目标接口板的标识之间的对应关系；所述第二类映射关系用于指示将计算子结果发送至汇聚板进行汇总得到汇聚结果以由所述汇聚板输出所述汇聚结果。7.根据权利要求6所述的方法，其特征在于，所述对...

【专利技术属性】
技术研发人员：宛清，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：