面向制造技术

本发明专利技术提出一种面向

【技术实现步骤摘要】
面向GPU远程调用的细粒度资源池调度方法及系统


[0001]本专利技术涉及人工智能
，特别涉及一种面向
GPU
远程调用中的资源池细粒度调用的方法及系统
。

技术介绍

[0002]由于当前人工智能领域的迅速发展，面向机器学习的计算需求正在不断地增长，图形处理单元
(GPU)
的应用也越来越广泛
。
在云环境中，一个用户可能需要一个或多个
GPU
来满足应用执行的资源需求，而另一方面，独占的
GPU
资源通常会导致资源未充分利用
。
[0003]因此，如何共享
GPU
成为包括阿里云在内的云服务供应商关注的问题
。
通过虚拟化的方式实现
GPU
远程挂载，让没有
GPU
资源的机器上能正常使用
GPU
，结合细粒度调度，可以帮助进一步细化
GPU
资源配额，使得现有的
GPU
资源按需提供以得到充分利用
。

技术实现思路

[0004]针对上述问题，本专利技术提出一种面向
GPU
远程调用的细粒度资源池调度方法，包括：将服务器端的
GPU
资源进行多粒度分片后，放入资源池；当客户端启动任务进程，构建该客户端与该服务器端的
RPC
连接；于该服务器端的运行层对该任务进程进行资源分配，从该资源池中选取至少一种粒度的
GPU/>资源分配给该任务进程
。
[0005]本专利技术所述的细粒度资源池调度方法，其中将该
GPU
资源划分为三个部分，并将第一部分按
4M
粒度划分为第一片状
GPU
资源，将第二部分按
512K
粒度划分为第二片状
GPU
资源，将第三部分按
2K
粒度划分为第三片状
GPU
资源；将该第一片状
GPU
资源
、
该第二片状
GPU
资源和该第三片状
GPU
资源的资源信息写入资源片表
。
[0006]本专利技术所述的细粒度资源池调度方法，对该任务进程进行资源分配时，对该资源片表内的片状
GPU
资源采用对应的调度算法进行分配；其中，对该第一片状
GPU
资源使用公平排队调度算法进行分配，对该第三片状
GPU
资源使用贪心调度算法进行分配，对该第二片状
GPU
资源使用公平排队调度和贪心调度的混合调度算法进行分配
。
[0007]本专利技术所述的细粒度资源池调度方法，其中构建该客
RPC
连接的过程包括：对该服务器端设置环境变量，生成动态链接文件，在该客户端设置该服务器端的
IP
地址，以指定该服务器端为该客户端的远程
RPC
调用对象；当该客户端启动该任务进程后，该任务进程通过调用该动态链接文件，以找到该服务器端的
CUDA
运行层的
API
；当
RPC
调用发现能找到该
API
，通过该
IP
地址链接到该服务器端；该服务器端通过包装器调用本地
API
，实现远程
RPC
调用
。
[0008]本专利技术还提出一种面向
GPU
远程调用的细粒度资源池调度系统，包括：池化模块，用于将服务器端的
GPU
资源进行分片后，放入资源池；
RPC
连接模块，用于当客户端启动任务进程，构建该客户端与该服务器端的
RPC
连接；资源分配模块，用于在该服务器端的运行层对该任务进程进行资源分配，从该资源池中选取
GPU
资源分配给该任务进程
。
[0009]本专利技术所述的细粒度资源池调度系统，其中该池化模块包括：分片模块，用于对该
GPU
资源进行分片；包括：将该
GPU
资源划分为三个部分，并将第一部分按
4M
粒度划分为第一片状
GPU
资源，将第二部分按
512K
粒度划分为第二片状
GPU
资源，将第三部分按
2K
粒度划分为第三片状
GPU
资源；将该第一片状
GPU
资源
、
该第二片状
GPU
资源和该第三片状
GPU
资源的资源信息写入资源片表
。
[0010]本专利技术所述的细粒度资源池调度系统，其中该资源分配模块具体包括：对该任务进程进行资源分配时，对该资源片表内的片状
GPU
资源采用对应的调度算法进行分配；其中，对该第一片状
GPU
资源使用公平排队调度算法进行分配，对该第三片状
GPU
资源使用贪心调度算法进行分配，对该第二片状
GPU
资源使用公平排队调度和贪心调度的混合调度算法进行分配
。
[0011]本专利技术所述的细粒度资源池调度系统，其中该
RPC
连接模块包括：初始化模块，用于对该服务器端设置环境变量，生成动态链接文件，在该客户端设置该服务器端的
IP
地址，以指定该服务器端为该客户端的远程
RPC
调用对象；连接模块，用于当该客户端启动该任务进程后，该任务进程通过调用该动态链接文件，以找到该服务器端的
CUDA
运行层的
API
；当
RPC
调用发现能找到该
API
，通过该
IP
地址链接到该服务器端；该服务器端通过包装器调用本地
API
，实现远程
RPC
调用
。
[0012]本专利技术还提出一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如前所述的面向
GPU
远程调用的细粒度资源池调度方法
。
[0013]本专利技术还提出一种数据处理装置，包括如前所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，该数据处理装置作为客户端或服务器端，实现面向
GPU
远程调用的细粒度资源池调度
。
附图说明
[0014]图1是本专利技术的面向
GPU
远程调用的细粒度资源池调度方法用户提交任务流程图
。
[0015]图2是本专利技术的面向
GPU
远程调用的细粒度资源池调度方法调度系统的实施方式示意图
。
[0016]图3是本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向
GPU
远程调用的细粒度资源池调度方法，其特征在于，包括：将服务器端的
GPU
资源进行多粒度分片后，放入资源池；当客户端启动任务进程，构建该客户端与该服务器端的
RPC
连接；于该服务器端的运行层对该任务进程进行资源分配，从该资源池中选取至少一种粒度的
GPU
资源分配给该任务进程
。2.
如权利要求1所述的细粒度资源池调度方法，其特征在于，将该
GPU
资源划分为三个部分，并将第一部分按
4M
粒度划分为第一片状
GPU
资源，将第二部分按
512K
粒度划分为第二片状
GPU
资源，将第三部分按
2K
粒度划分为第三片状
GPU
资源；将该第一片状
GPU
资源
、
该第二片状
GPU
资源和该第三片状
GPU
资源的资源信息写入资源片表
。3.
如权利要求2所述的细粒度资源池调度方法，其特征在于，对该任务进程进行资源分配时，对该资源片表内的片状
GPU
资源采用对应的调度算法进行分配；其中，对该第一片状
GPU
资源使用公平排队调度算法进行分配，对该第三片状
GPU
资源使用贪心调度算法进行分配，对该第二片状
GPU
资源使用公平排队调度和贪心调度的混合调度算法进行分配
。4.
如权利要求1所述的细粒度资源池调度方法，其特征在于，构建该客
RPC
连接的过程包括：对该服务器端设置环境变量，生成动态链接文件，在该客户端设置该服务器端的
IP
地址，以指定该服务器端为该客户端的远程
RPC
调用对象；当该客户端启动该任务进程后，该任务进程通过调用该动态链接文件，以找到该服务器端的
CUDA
运行层的
API
；当
RPC
调用发现能找到该
API
，通过该
IP
地址链接到该服务器端；该服务器端通过包装器调用本地
API
，实现远程
RPC
调用
。5.
一种面向
GPU
远程调用的细粒度资源池调度系统，其特征在于，包括：池化模块，用于将服务器端的
GPU
资源进行分片后，放入资源池；
RPC
连接模块，用于当客户端启动任务进程，构建该客户端与该服务器端的
RPC
连接；资源分配模块，用于在该服务器...

【专利技术属性】
技术研发人员：刘文豪，孙毓忠，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：