指令执行方法、装置、设备、系统、程序产品及介质制造方法及图纸

本说明书一个或多个实施例提供一种用于GPU资源池的指令执行方法、装置、设备、系统、程序产品及介质，所述GPU资源池包括多个GPU以及与每个所述GPU对应的存储器；所述方法包括：确定可使用的目标GPU以及与所述目标GPU对应的目标存储器；确定所述目标存储器中用于存储指令的目标存储空间；获取需要由所述目标GPU执行的至少一条第一指令；将所述至少一条第一指令发送至所述目标存储器，以使所述至少一条第一指令写入至所述目标存储空间后，由所述目标GPU从所述目标存储空间中读取所述第一指令并执行。执行。执行。

【技术实现步骤摘要】
指令执行方法、装置、设备、系统、程序产品及介质


[0001]本说明书实施例涉及计算机
，尤其涉及用于GPU资源池的指令执行方法、装置、设备、系统、程序产品及介质。

技术介绍

[0002]资源池化是通过分布式软件、虚拟化等技术，把某一类资源抽象成为一种可以按照管理要求、被整个数据中心各种用户和业务共享的资源，从而打破资源被用户和业务独占使用的模式，打破单台计算机设备的CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)、磁盘或网卡等物理资源数量的固定配比，并且能够动态根据用户和业务的需求来进行申请和释放。例如，GPU资源池等。
[0003]然而，采用GPU资源池时，相对于单台计算机设备中配置GPU的方式，计算机设备中CPU与GPU资源池中的GPU的连接链路变长，因此，如何提升GPU执行指令的效率，是亟待解决的技术问题。

技术实现思路

[0004]为克服相关技术中存在的问题，本说明书实施例提供了用于GPU资源池的指令执行方法、装置、设备、分布式系统及存储介质。
[0005]根据本说明书实施例的第一方面，提供一种用于GPU资源池的指令执行方法，所述GPU资源池包括多个GPU以及与每个所述GPU对应的存储器；所述方法包括：
[0006]确定可使用的的目标GPU以及与所述目标GPU对应的目标存储器；
[0007]确定所述目标存储器中用于存储指令的目标存储空间；
[0008]获取需要由所述目标GPU执行的至少一条第一指令；
[0009]将所述至少一条第一指令发送至所述目标存储器，以使所述至少一条第一指令写入至所述目标存储空间后，由所述目标GPU从所述目标存储空间中读取所述第一指令并执行。
[0010]根据本说明书实施例的第二方面，提供一种用于GPU资源池的指令执行装置，所述GPU资源池包括多个GPU以及与每个所述GPU对应的存储器；所述装置包括：
[0011]第一确定模块，用于：确定可使用的目标GPU以及与所述目标GPU对应的目标存储器；
[0012]第二确定模块，用于：确定所述目标存储器中请用于存储指令的目标存储空间；
[0013]获取模块，用于：获取需要由所述目标GPU执行的至少一条第一指令；
[0014]发送模块，用于：将所述至少一条第一指令发送至所述目标存储器，以使所述至少一条第一指令写入至所述目标存储空间后，由所述目标GPU从所述目标存储空间中读取所述第一指令并执行。
[0015]根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序
时实现第一方面所述用于GPU资源池的指令执行方法实施例的步骤。
[0016]根据本说明书实施例的第四方面，提供一种分布式系统，所述分布式系统包括一个或多个计算机设备，所述计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述用于GPU资源池的指令执行方法实施例的步骤。
[0017]根据本说明书实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述用于GPU资源池的指令执行方法实施例的步骤。
[0018]根据本说明书实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述用于GPU资源池的指令执行方法实施例的步骤。
[0019]本说明书的实施例提供的技术方案可以包括以下有益效果：
[0020]本说明书实施例中，可以确定目标GPU及对应的目标存储器，从而确定该目标存储器中用于存储指令的目标存储空间，由于GPU执行的指令未放置在计算机设备侧的存储器中，而是放置在GPU资源池侧的该目标GPU对应的目标存储器中，从而，目标GPU无需跨越较长的距离读取指令，本实施例降低了目标GPU读取指令的耗时，从而提升了目标GPU执行指令的效率。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
[0023]图1A是本说明书根据一示例性实施例示出的一种GPU资源池的应用场景示意图。
[0024]图1B是本说明书根据一示例性实施例示出的一种执行指令的示意图。
[0025]图1C是本说明书根据一示例性实施例示出的另一种执行指令的示意图。
[0026]图2A是本说明书根据一示例性实施例示出的一种用于GPU资源池的指令执行方法的流程图。
[0027]图2B是本说明书根据一示例性实施例示出的另一种用于GPU资源池的指令执行示意图。
[0028]图3A是本说明书根据一示例性实施例示出的另一种用于GPU资源池的指令执行方法的流程图。
[0029]图3B1是本说明书根据一示例性实施例示出的一种分配存储空间的示意图。
[0030]图3B2是本说明书根据一示例性实施例示出的一种计算机设备与GPU的交互示意图。
[0031]图3C是本说明书根据一示例性实施例示出的另一种分配存储空间的示意图。
[0032]图4是本说明书根据一示例性实施例示出的一种计算机设备的框图。
[0033]图5是本说明书根据一示例性实施例示出的一种用于GPU资源池的指令执行装置的框图。
具体实施方式
[0034]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
[0035]在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0036]应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0037]随着人工智能的迅速普及和云服务提供的便利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于GPU资源池的指令执行方法，所述GPU资源池包括多个GPU以及与每个所述GPU对应的存储器；所述方法包括：确定可使用的目标GPU以及与所述目标GPU对应的目标存储器；确定所述目标存储器中用于存储指令的目标存储空间；获取需要由所述目标GPU执行的至少一条第一指令；将所述至少一条第一指令发送至所述目标存储器，以使所述至少一条第一指令写入至所述目标存储空间后，由所述目标GPU从所述目标存储空间中读取所述第一指令并执行。2.根据权利要求1所述的方法，所述GPU资源池还包括与每个所述GPU连接的转发节点，所述转发节点包括存储器；所述GPU对应的存储器包括：与所述GPU连接的转发节点的存储器；或，所述GPU的内存储器。3.根据权利要求1所述的方法，所述确定所述目标存储器中用于存储指令的目标存储空间，包括：调用所述目标存储器的存储空间分配接口，以确定所述目标存储器中用于存储指令的目标存储空间。4.根据权利要求1所述的方法，在所述确定所述目标存储器中用于存储指令的目标存储空间的步骤之后，所述方法还包括：获取所述目标存储空间的地址；将所述地址发送给所述目标GPU，以使所述目标GPU根据所述地址访问所述目标存储空间。5.根据权利要求1所述的方法，所述方法还包括：响应于所述至少一条第一指令写入至所述目标存储空间，通知所述目标GPU从所述目标存储空间中读取所述第一指令。6.根据权利要求1所述的方法，所述确定所述目标存储器中用于存储指令的目标存储空间，包括：响应于第一应用程序启动，确定所述目标存储器中一个或多个用于存储指令的目标存储空间，各个所述目标存储空间与所述第一应用程序相对应。7.根据权利要求4...

【专利技术属性】
技术研发人员：龙毅，付斌章，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：