加速设备的调度方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种加速设备的调度方法、装置、电子设备和存储介质，其中，方法包括：获取客户端的待执行任务信息，待执行任务信息包括待执行任务的加速设备需求信息；获取各服务器节点分别对应的预先绑定的第一加速设备信息；基于加速设备需求信息和各服务器节点分别对应的第一加速设备信息，确定目标服务器节点；向目标服务器节点发送加速设备调度请求，以使目标服务器节点基于加速设备调度请求从绑定的第一加速设备中调用满足待执行任务需求的目标加速设备执行待执行任务，加速设备调度请求包括加速设备需求信息。本公开实施例可以实现将加速设备作为服务器节点的专有加速设备对外提供加速服务，实现加速设备的有效调度，提高可调度性。提高可调度性。提高可调度性。

【技术实现步骤摘要】
加速设备的调度方法、装置、电子设备和存储介质


[0001]本公开涉及计算机集群技术，尤其是一种加速设备的调度方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能(AI)技术的飞速发展，面向AI应用的加速硬件(比如加速卡、加速芯片、加速设备，等)逐渐被广泛应用，比如算法研发、软件开发、在线服务等都可能涉及到对加速硬件资源的使用，而市面上不同厂商的AI加速设备各不相同，按照硬件形态，可以分为PCIe(PCI
‑
Express(peripheral component interconnect express)，高速串行计算机扩展总线标准)的加速卡(比如图形处理器GPU)和非PCIe的专有加速设备，但是，现有专有加速设备对外提供服务的可调度性较差。

技术实现思路

[0003]为了解决上述专有加速设备可调度性较差等技术问题，提出了本公开。本公开的实施例提供了一种加速设备的调度方法、装置、电子设备和存储介质。
[0004]根据本公开实施例的一个方面，提供了一种加速设备的调度方法，包括：获取客户端的待执行任务信息，所述待执行任务信息包括待执行任务的加速设备需求信息；获取各服务器节点分别对应的预先绑定的第一加速设备信息；基于所述加速设备需求信息和各所述服务器节点分别对应的所述第一加速设备信息，确定目标服务器节点；向所述目标服务器节点发送加速设备调度请求，以使所述目标服务器节点基于所述加速设备调度请求从绑定的第一加速设备中调用满足所述待执行任务需求的目标加速设备执行所述待执行任务，所述加速设备调度请求包括所述加速设备需求信息。
[0005]根据本公开实施例的另一个方面，提供了一种加速设备的调度方法，包括：获取来自主控节点的加速设备调度请求，所述加速设备调度请求包括待执行任务的加速设备需求信息；获取已绑定的各加速设备分别对应的当前状态信息；基于各所述加速设备分别对应的所述当前状态信息，确定目标加速设备；调用所述目标加速设备执行所述待执行任务。
[0006]根据本公开实施例的再一个方面，提供了一种加速设备的调度装置，包括：第一获取模块，用于获取客户端的待执行任务信息，所述待执行任务信息包括待执行任务的加速设备需求信息；第二获取模块，用于获取各服务器节点分别对应的预先绑定的第一加速设备信息；第一处理模块，用于基于所述加速设备需求信息和各所述服务器节点分别对应的所述第一加速设备信息，确定目标服务器节点；第一发送模块，用于向所述目标服务器节点发送加速设备调度请求，以使所述目标服务器节点基于所述加速设备调度请求从绑定的第一加速设备中调用满足所述待执行任务需求的目标加速设备执行所述待执行任务，所述加速设备调度请求包括所述加速设备需求信息。
[0007]根据本公开实施例的又一个方面，提供了一种加速设备的调度装置，包括：第三获取模块，用于获取来自主控节点的加速设备调度请求，所述加速设备调度请求包括待执行
任务的加速设备需求信息；第四获取模块，用于获取已绑定的各加速设备分别对应的当前状态信息；第二处理模块，用于基于各所述加速设备分别对应的所述当前状态信息，确定目标加速设备；第三处理模块，用于调用所述目标加速设备执行所述待执行任务。
[0008]根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的加速设备的调度方法。
[0009]根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的加速设备的调度方法。
[0010]基于本公开上述实施例提供的加速设备的调度方法、装置、电子设备和存储介质，通过将加速设备与服务器节点进行绑定，将加速设备的相关信息在服务器节点进行管理，并通过主控节点对外暴露，从而实现将加速设备作为服务器节点的专有加速设备对外提供计算加速服务，实现加速设备的有效调度，提高可调度性，解决现有技术加速设备可调度性较差等问题。
[0011]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0012]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0013]图1是本公开提供的加速设备的调度方法的一个示例性的应用场景；
[0014]图2是本公开一示例性实施例提供的加速设备的调度方法的流程示意图；
[0015]图3是本公开另一示例性实施例提供的加速设备的调度方法的流程示意图；
[0016]图4是本公开一示例性实施例提供的资源调度集群的架构示意图；
[0017]图5是本公开再一示例性实施例提供的加速设备的调度方法的流程示意图；
[0018]图6是本公开又一示例性实施例提供的加速设备的调度方法的流程示意图；
[0019]图7是本公开一示例性实施例提供的加速设备的调度装置的结构示意图；
[0020]图8是本公开另一示例性实施例提供的加速设备的调度装置的结构示意图；
[0021]图9是本公开再一示例性实施例提供的加速设备的调度装置的结构示意图；
[0022]图10是本公开又一示例性实施例提供的加速设备的调度装置的结构示意图；
[0023]图11是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
[0024]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0025]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0026]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0027]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0028]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0029]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0030]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加速设备的调度方法，包括：获取客户端的待执行任务信息，所述待执行任务信息包括待执行任务的加速设备需求信息；获取各服务器节点分别对应的预先绑定的第一加速设备信息；基于所述加速设备需求信息和各所述服务器节点分别对应的所述第一加速设备信息，确定目标服务器节点；向所述目标服务器节点发送加速设备调度请求，以使所述目标服务器节点基于所述加速设备调度请求从绑定的第一加速设备中调用满足所述待执行任务需求的目标加速设备执行所述待执行任务，所述加速设备调度请求包括所述加速设备需求信息。2.根据权利要求1所述的方法，还包括：获取来自所述服务器节点的加速设备注册信息，所述加速设备注册信息包括与所述服务器节点绑定的至少一个加速设备的属性信息；将所述加速设备注册信息进行存储。3.根据权利要求1所述的方法，其中，所述基于所述加速设备需求信息和各所述服务器节点分别对应的所述第一加速设备信息，确定目标服务器节点，包括：基于所述加速设备需求信息和各所述第一加速设备信息，确定各所述服务器节点分别对应的打分结果；基于各所述服务器节点分别对应的所述打分结果，确定所述目标服务器节点。4.一种加速设备的调度方法，包括：获取来自主控节点的加速设备调度请求，所述加速设备调度请求包括待执行任务的加速设备需求信息；获取已绑定的各加速设备分别对应的当前状态信息；基于各所述加速设备分别对应的所述当前状态信息，确定目标加速设备；调用所述目标加速设备执行所述待执行任务。5.根据权利要求4所述的方法，还包括：获取来自终端设备的加速设备注册请求，所述加速设备注册请求包括待注册的至少一个加速设备的属性信息；将各所述加速设备分别对应的所述属性信息作为加速设备注册信息；将所述加速设备注册信息发送给所述主控节点。6.根据权利要求4所述的方法，其中，所述调用所述目标加速设备执行所述待执行任务，包括：基于所述目标加速设备的属性信息，向所述目标加速设备发送所述待执行任务的参数信息，以使所述目标加速设备基于所述参数信息执行所述待执行任务；获取来自所述目标加速设备的所述待执行任务对应的执行结果。7.根据权利要求6所述的方法，还包括：在调用所述目标加速设备执行所述待执行任务的过程中，将所述目标加速设备的所述当前状态信息更新为占用状态，并基于预设...

【专利技术属性】
技术研发人员：杜艳冰，赵明，陈阳雪，韩来鹏，杨博，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：