资源服务装置、资源调度方法和装置制造方法及图纸

本申请实施例公开了一种图形处理装置。其中，逻辑单元是最小的GPU资源调度单元，该图形处理装置映射至少一个GPU多进程代理服务器GPU‑MPS，GPU‑MPS为调度该图形处理装置的代理，GPU‑MPS的一个客户端可调度至少一个逻辑单元，一个任务进程对应为GPU‑MPS的一个客户端，该图形处理装置可包含的最大逻辑单元数为M×N×K个；M为GPU‑MPS的一个客户端可调度的逻辑单元数，N为一个GPU‑MPS包含的最大客户端数，K为该图形处理装置映射的GPU‑MPS数。通过本申请，可以在提高GPU资源的利用率的同时，也能为该图形处理装置节约建立和切换GPU上下文的开销。本申请还公开了一种资源服务装置、资源调度方法和装置。

Graphics processing device, resource service device, resource scheduling method and device

The embodiment of the invention discloses a graphic processing device. The logic unit is the smallest unit of GPU resource scheduling, the graphics processing apparatus for mapping of at least one GPU multi process GPU-MPS proxy server, GPU-MPS scheduling is the agent of the graphics processing unit, a GPU-MPS client can dispatch at least one logical unit, a task corresponds to a client GPU-MPS, the graphics maximum number of logical unit processing device can be included as M * N * K; the number of logic unit M is a client of GPU-MPS scheduling, N is the maximum number of clients included in a GPU-MPS, K for the graphics processing unit mapping GPU-MPS number. Through the application, the utilization rate of the GPU resource can be improved, and the cost of establishing and switching the GPU context can be saved for the graphics processing device. The invention also discloses a resource service device, a resource scheduling method and a device.

【技术实现步骤摘要】

本申请涉及计算机应用领域，特别是涉及图形处理装置、资源服务装置、资源调度方法和装置。
技术介绍
由于在现代的计算机中，图形的处理越来越重要，因此，需要一种专门用于图形处理的核心处理器，而图形处理器(GPU，Graphics Processing Unit)就是一种专门用于图形处理的器件。与此同时，把GPU的强大的计算能力处理通用计算(GPGPU，General Purpose GPU)也日益盛行，用于各种高性能计算集群中。目前，在现有的GPU集群技术中，当处理用户提交的作业(job)时，主要存在两种GPU资源的调度方法。其中，一种调度方法是，资源调度器将一个GPU(如，一张GPU卡)只调度给一个用户的作业。另一种调度方法是，资源调度器将一个GPU同时调度给多个用户的作业。在实现本申请的过程中，本申请的专利技术人发现现有技术中至少存在如下问题：在第一种调度方法中，由于一个GPU只被一个用户的作业独占，而一个用户的作业很可能无法充分利用一个GPU的资源，因此会出现GPU资源利用率低的问题。而在第二种调度方法中，由于一个GPU是被多个用户的作业共享的，而多个用户更有可能会充分利用一个GPU的资源，因此一定程度上提高了GPU资源的利用率。虽然第二种调度方法可以提高GPU资源的利用率，但是，当多个用户的作业共享一个GPU时，多个用户的作业同时开启的进程数可能会很大，对于每一个进程，GPU都要为其建立一个GPU上下文，因此，在GPU上建立的GPU上下文的数量也就可能非常大，并且，还会在数量众多的GPU上下文中进行切换，建立和切换GPU上下文会使GPU资源产生巨大开销，从而导致过度共享GPU问题。
技术实现思路
为了解决上述技术问题，本申请实施例提供了图形处理装置、资源服务装置、资源调度方法和装置，以在提高GPU资源的利用率的同时，也能节约建立和切换GPU上下文的开销。进一步的，尽可能地避免GPU的过度共享的问题。本申请实施例公开了如下技术方案：一种图形处理装置，在所述图形处理装置中，逻辑单元是最小的图形处理器GPU资源调度单元，所述图形处理装置映射至少一个GPU多进程代理服务器GPU-MPS，所述GPU-MPS为调度所述图形处理装置的代理，GPU-MPS的一个客户端可调度至少一个所述逻辑单元，一个任务进程为GPU-MPS的一个客户端，所述图形处理装置可包含的最大逻辑单元数为M×N×K个；其中，M为GPU-MPS的一个客户端可调度的逻辑单元数，N为一个GPU-MPS包含的最大客户端数，K为所述图形处理装置映射的GPU-MPS数，M、N和K均为非零正整数。优选的，GPU-MPS的一个客户端可调度一个逻辑单元。优选的，所述图形处理装置映射一个GPU多进程代理服务器。优选的，所述图形处理装置包含M×N×K个逻辑单元。一种资源服务装置，包括至少一个上述任意一项所述的图形处理装置、监测单元和第一通信单元，其中，监测单元，用于在监测周期到达时，监测当前周期内所述图形处理装置中剩余的逻辑单元的数量；第一通信单元，用于将监测到的数据发送给集群中的监控节点，以便所述监控节点在更新周期到达时利用监测到的数据原子更新预设的资源动态表；其中，所述资源动态表至少包含图形处理装置中剩余的逻辑单元的数量。优选的，所述资源服务装置为集群中的一个从节点。优选的，所述资源动态表还包含图形处理装置的实际使用率；所述监测单元还用于，在监测周期到达时，监测当前周期内本地的图形处理装置的实际使用率。一种资源调度方法，应用在上述任意一项所述的资源服务装置，所述方法包括：接收为目标作业调度图形处理器GPU资源的调度请求，所述调度请求中指示了请求调度的逻辑单元的数量；响应于所述调度请求，从预设的资源动态表中查找剩余的逻辑单元的数量不为零的图形处理装置，并按照所述调度请求指示的数量，从查找到的图形处理装置中为所述目标作业调度逻辑单元；其中，所述资源动态表至少包含图形处理装置中剩余的逻辑单元的数量。优选的，所述资源动态表还包含图形处理装置的实际使用率；所述响应于所述调度请求，从预设的资源动态表中查找剩余的逻辑单元的数量不为零的图形处理装置，并按照所述调度请求指示的数量，从查找到的图形处理装置中为所述目标作业调度逻辑单元为：响应于所述调度请求，从预设的资源动态表中查找实际使用率小于或等于预设的最大阈值且剩余的逻辑单元的个数不为零的图形处理装置，并按照所述调度请求指示的数量，从查找到的图形处理装置中为所述目标作业调度逻辑单元。优选的，所述资源动态表还包含资源服务器集群中的资源服务装置的工作状态和资源服务装置中的图形处理装置的工作状态；所述方法还包括：在更新周期到达时，原子更新所述资源动态表中资源服务装置的工作状态和图形处理装置的工作状态，所述工作状态包括工作和非工作。一种资源调度装置，其特征在于，应用在上述任意一项所述的资源服务装置，包括：第二通信单元，用于接收为目标作业调度图形处理器GPU资源的调度请求，所述调度请求中指示了请求调度的逻辑单元的数量；响应单元，用于响应于所述调度请求，从预设的资源动态表中查找剩余的逻辑单元的数量不为零的图形处理装置，并按照所述调度请求指示的数量，从查找到的图形处理装置中为所述目标作业调度逻辑单元；其中，所述资源动态表至少包含图形处理装置中剩余的逻辑单元的数量。优选的，所述资源动态表还包含图形处理装置的实际使用率；所述响应单元具体用于，响应于所述调度请求，从预设的资源动态表中查找实际使用率小于或等于预设的最大阈值且剩余的逻辑单元的个数不为零的图形处理装置，并按照所述调度请求指示的数量，从查找到的图形处理装置中为所述目标作业调度逻辑单元。优选的，所述资源动态表还包含资源服务器集群中的资源服务装置的工作状态和资源服务装置中的图形处理装置的工作状态；所述装置还包括：更新单元，用于在更新周期到达时，原子更新所述资源动态表中资源服务装置的工作状态和图形处理装置的工作状态，所述工作状态包括工作和非工作。由上述实施例可以看出，与现有技术相比，本申请的优点在于：由于逻辑单元是最小的GPU资源调度单元，因此，可以将一个图形处理装置中不同的逻辑单元调度给不同的任务进程，使不同的用户作业共同占用同一个图形处理装置，保证图形处理装置中GPU资源的利用率。同时，本申请利用GPU-MPS技术，使一个任务进程成为GPU-MPS的一个客户端，这样，GPU-MPS就可以像管理客户端一样管理任务进程。由于一个GPU-MPS中的所有客户端共享一个GPU上下文，因此，在一个GPU多进程代理服务器中，作为其客户端的多个任务进程也就只需共享一个GPU上下文。另外，在资源调度时，基于各GPU的实际使用率调度逻辑单元，还可以避免出现GPU过度共享的问题。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1示意性地示出了根据本申请的实施方式的一种图形处理装置的结构图；图2示意性地示出了根据本申请的实施方式的另一种图形处理装置的结构图；图3示意性地示出了根据本申请的实施本文档来自技高网...

【技术保护点】
一种图形处理装置，其特征在于，在所述图形处理装置中，逻辑单元是最小的图形处理器GPU资源调度单元，所述图形处理装置映射至少一个GPU多进程代理服务器GPU‑MPS，所述GPU‑MPS为调度所述图形处理装置的代理，GPU‑MPS的一个客户端可调度至少一个所述逻辑单元，一个任务进程为GPU‑MPS的一个客户端，所述图形处理装置可包含的最大逻辑单元数为M×N×K个；其中，M为GPU‑MPS的一个客户端可调度的逻辑单元数，N为一个GPU‑MPS包含的最大客户端数，K为所述图形处理装置映射的GPU‑MPS数，M、N和K均为非零正整数。

【技术特征摘要】
1.一种图形处理装置，其特征在于，在所述图形处理装置中，逻辑单元是最小的图形处理器GPU资源调度单元，所述图形处理装置映射至少一个GPU多进程代理服务器GPU-MPS，所述GPU-MPS为调度所述图形处理装置的代理，GPU-MPS的一个客户端可调度至少一个所述逻辑单元，一个任务进程为GPU-MPS的一个客户端，所述图形处理装置可包含的最大逻辑单元数为M×N×K个；其中，M为GPU-MPS的一个客户端可调度的逻辑单元数，N为一个GPU-MPS包含的最大客户端数，K为所述图形处理装置映射的GPU-MPS数，M、N和K均为非零正整数。2.根据权利要求1所述的图形处理装置，其特征在于，GPU-MPS的一个客户端可调度一个逻辑单元。3.根据权利要求1或2所述的图形处理装置，其特征在于，所述图形处理装置映射一个GPU多进程代理服务器。4.根据权利要求1所述的图形处理装置，其特征在于，所述图形处理装置包含M×N×K个逻辑单元。5.一种资源服务装置，其特征在于，包括至少一个如权利要求1至4中任意一项所述的图形处理装置、监测单元和第一通信单元，其中，监测单元，用于在监测周期到达时，监测当前周期内所述图形处理装置中剩余的逻辑单元的数量；第一通信单元，用于将监测到的数据发送给集群中的监控节点，以便所述监控节点在更新周期到达时利用监测到的数据原子更新预设的资源动态表；其中，所述资源动态表至少包含图形处理装置中剩余的逻辑单元的数量。6.根据权利要求5所述的资源服务装置，其特征在于，所述资源服务装置为集群中的一个从节点。7.根据权利要求5所述的资源服务装置，其特征在于，所述资源动态表还包含图形处理装置的实际使用率；所述监测单元还用于，在监测周期到达时，监测当前周期内本地的图形处理装置的实际使用率。8.一种资源调度方法，其特征在于，应用在如权利要求5至7中任意一
\t项所述的资源服务装置，所述方法包括：接收为目标作业调度图形处理器GPU资源的调度请求，所述调度请求中指示了请求调度的逻辑单元的数量；响应于所述调度请求，从预设的资源动态表中查找剩余的逻辑单元的数量不为零的图形处理装置，并按照所述调度请求指示的数量，从查找到的图形处理装置中为所述目标作业调度逻辑单元；其中，所述...

【专利技术属性】
技术研发人员：孔建钢，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY