GPU资源调度方法、调度器、电子设备和存储介质技术

本申请提供一种GPU资源调度方法、调度器、电子设备和存储介质，其中，GPU资源调度方法包括:拦截目标应用对象的GPU资源调用请求；基于GPU资源使用数据判断本地GPU资源是否满足调用需求，其中，所述GPU资源调用请求携带所述调用需求；当所述本地GPU资源满足所述调用需求时，调用所述本地GPU资源响应所述GPU资源调用请求；当所述本地GPU资源无法满足所述调用需求时，调用远程GPU资源响应所述GPU资源调用请求。本申请能够在不增加硬件成本的前提下，满足GPU资源调用需求，同时，本申请能够优先利用调用性能更优的本地GPU资源响应请求，进而降低调用远程GPU资源所带来的精度损失与通讯开销。销。销。

【技术实现步骤摘要】
GPU资源调度方法、调度器、电子设备和存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种GPU资源调度方法、调度器、电子设备和存储介质。

技术介绍

[0002]目前，由于GPU主板的空间限制，GPU使用的PCI
‑
E 插槽的数目是有限的，这限制了主机上的程序直接利用GPU的数量，即GPU资源有限，针对上述问题，现有技术的一种解决方案是通过改进GPU主板的硬件，进而扩展PCI
‑
E 插槽的数目，然而这种方式的成本比较高昂。另一方，现有技术的另一种解决方案是通过分布式计算增加GPU资源，然而这一方式中，分布式计算会带来一定的精度损失与通讯开销。

技术实现思路

[0003]本申请实施例的目的在于提供一种GPU资源调度方法、调度器、电子设备和存储介质，用以在不增加硬件成本的前提下，满足GPU资源调用需求，同时，本申请能够优先利用调用性能更优的本地GPU资源响应请求，进而降低调用远程GPU资源所带来的精度损失与通讯开销。
[0004]第一方面，本专利技术提供一种GPU资源调度方法，所述GPU资源调度方法应用于云计算容器中，所述GPU资源调度方法包括：拦截目标应用对象的GPU资源调用请求；基于GPU资源使用数据判断本地GPU资源是否满足调用需求，其中，所述GPU资源调用请求携带所述调用需求；当所述本地GPU资源满足所述调用需求时，调用所述本地GPU资源响应所述GPU资源调用请求；当所述本地GPU资源无法满足所述调用需求时，调用远程GPU资源响应所述GPU资源调用请求。
[0005]在本申请第一方面中，通过拦截目标应用对象的GPU资源调用请求，进而能够基于GPU资源使用数据判断本地GPU资源是否满足调用需求，进而当所述本地GPU资源满足所述调用需求时，调用所述本地GPU资源响应所述GPU资源调用请求，而当所述本地GPU资源无法满足所述调用需求时，调用远程GPU资源响应所述GPU资源调用请求，这样一来，本申请能够子本地GPU资源无法满足需求时，利用远程GPU资源响应所述GPU资源调用请求，而不需要通过改进GPU主板的PCI
‑
E 插槽的数目，因此具有更低的成本。同时，本申请在利用远程GPU资源响应所述GPU资源调用请求之前，能够先判断本地GPU资源是否满足调用需求，并在本地GPU资源满足所述调用需求时，调用所述本地GPU资源响应所述GPU资源调用请求，这样一来，就能够优先利用调用性能更优的本地GPU资源响应请求，进而降低调用远程GPU资源所带来的精度损失与通讯开销。
[0006]在可选的实施方式中，在所述调用远程GPU资源响应所述GPU资源调用请求之前，
所述GPU资源调度方法还包括：向所述远程GPU资源所在的远程主机发送网络连接请求，以通过所述网络连接请求，与所述远程主机的后端服务建立网络连接。
[0007]在本可选的实施方式中，通过向所述远程GPU资源所在的远程主机发送网络连接请求，进而能够通过所述网络连接请求，与所述远程主机的后端服务建立网络连接，进而通过该网络连接调用远程GPU资源响应所述GPU资源调用请求。
[0008]在可选的实施方式中，所述调用远程GPU资源响应所述GPU资源调用请求，包括：将所述GPU资源调用请求进行序列化和映射处理，得到目标请求；基于与所述远程主机的后端服务的网络连接，将所述目标请求发送至所述远程主机的后端服务，以使得所述远程主机的后端服务调用所述远程主机的GPU软件堆栈执行GPU计算函数，并得到第一计算结果；接收所述远程主机的后端服务返回的所述第一计算结果。
[0009]在本可选的实施方式中，通过将所述GPU资源调用请求进行序列化和映射处理，能够得到目标请求，进而能够基于与所述远程主机的后端服务的网络连接，将所述目标请求发送至所述远程主机的后端服务，以使得所述远程主机的后端服务调用所述远程主机的GPU软件堆栈执行GPU计算函数，并得到第一计算结果，从而能够接收所述远程主机的后端服务返回的所述第一计算结果。
[0010]在可选的实施方式中，调用所述本地GPU资源响应所述GPU资源调用请求，包括：将所述GPU资源调用请求发送至本地主机的后端服务，以使所述本地主机的后端服务调用所述本地主机的GPU软件堆栈执行GPU计算函数，并得到第二计算结果；接收所述本地主机的后端服务返回的所述第二计算结果。
[0011]在可选的实施方式中，通过将所述GPU资源调用请求发送至本地主机的后端服务，进而能够使所述本地主机的后端服务调用所述本地主机的GPU软件堆栈执行GPU计算函数，并得到第二计算结果，从而能够接收所述本地主机的后端服务返回的所述第二计算结果。
[0012]在可选的实施方式中，所述GPU资源调度方法还包括：获取所述本地主机的内存地址；将所述本地主机的内存地址映射到所述云计算容器的内存空间中，以使得所述本地主机的后端服务通过共享内存通信方式与所述云计算容器进行数据交互。
[0013]在本可选的实施方式中，通过获取所述本地主机的内存地址，进而能够将所述本地主机的内存地址映射到所述云计算容器的内存空间中，从而能够使得所述本地主机的后端服务通过共享内存通信方式与所述云计算容器进行数据交互。
[0014]在可选的实施方式中，所述GPU资源使用数据包括本地GPU资源使用率；以及，所述基于GPU资源使用数据判断本地GPU资源是否满足调用需求，包括：基于所述本地GPU资源使用率判断所述本地GPU资源是否满足所述调用需求。
[0015]在本可选的实施方式中，基于所述本地GPU资源使用率能够判断所述本地GPU资源是否满足所述调用需求。
[0016]在可选的实施方式中，所述基于所述本地GPU资源使用率判断所述本地GPU资源是否满足调用需求，包括：当所述本地GPU资源使用率大于预设阈值时，则确定所述本地GPU资源无法满足所
述调用需求；当所述本地GPU资源使用率小于等于所述预设阈值时，则确定所述本地GPU资源满足所述调用需求。
[0017]在本可选的实施方式中，当所述本地GPU资源使用率大于预设阈值时，能够确定所述本地GPU资源无法满足所述调用需求，而当所述本地GPU资源使用率小于等于所述预设阈值时，能够确定所述本地GPU资源满足所述调用需求。
[0018]第二方面，本专利技术提供一种调度器，所述调度器应用于云计算容器中，所述调度器包括：监测模块，用于拦截目标应用对象的GPU资源调用请求；判断模块，用于基于GPU资源使用数据判断本地GPU资源是否满足调用需求，其中，所述GPU资源调用请求携带所述调用需求；第一调用模块，用于当所述本地GPU资源满足所述调用需求时，调用所述本地GPU资源响应所述GPU资源调用请求；第二调用模块，用于当所述本地GPU资源无法满足所述调用需求时，调用远程GPU资源响应所述GPU资源调用请求。
[0019]在本申请第二方面中，通过拦截目标应用对象的GPU资源调用请求，进而能够基于GPU资源使用数据判断本地GPU资源是否满足本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU资源调度方法，其特征在于，所述GPU资源调度方法应用于云计算容器中，所述GPU资源调度方法包括：拦截目标应用对象的GPU资源调用请求；基于GPU资源使用数据判断本地GPU资源是否满足调用需求，其中，所述GPU资源调用请求携带所述调用需求；当所述本地GPU资源满足所述调用需求时，调用所述本地GPU资源响应所述GPU资源调用请求；当所述本地GPU资源无法满足所述调用需求时，调用远程GPU资源响应所述GPU资源调用请求。2.如权利要求1所述的GPU资源调度方法，其特征在于，在所述调用远程GPU资源响应所述GPU资源调用请求之前，所述GPU资源调度方法还包括：向所述远程GPU资源所在的远程主机发送网络连接请求，以通过所述网络连接请求，与所述远程主机的后端服务建立网络连接。3.如权利要求1所述的GPU资源调度方法，其特征在于，所述调用远程GPU资源响应所述GPU资源调用请求，包括：将所述GPU资源调用请求进行序列化和映射处理，得到目标请求；基于与所述远程主机的后端服务的网络连接，将所述目标请求发送至所述远程主机的后端服务，以使得所述远程主机的后端服务调用所述远程主机的GPU软件堆栈执行GPU计算函数，并得到第一计算结果；接收所述远程主机的后端服务返回的所述第一计算结果。4.如权利要求1所述的GPU资源调度方法，其特征在于，调用所述本地GPU资源响应所述GPU资源调用请求，包括：将所述GPU资源调用请求发送至本地主机的后端服务，以使所述本地主机的后端服务调用所述本地主机的GPU软件堆栈执行GPU计算函数，并得到第二计算结果；接收所述本地主机的后端服务返回的所述第二计算结果。5.如权利要求4所述的GPU资源调度方法，其特征在于，所述GPU资源调度方法还包括：获取所述本地主机的内存地址；将所述本地主机...

【专利技术属性】
技术研发人员：刘青伟，
申请(专利权)人：创新奇智青岛科技有限公司，
类型：发明
国别省市：