在分布式系统中管理地址的方法、设备和计算机程序产品技术方案

本公开的实现涉及在分布式系统中管理地址的方法、设备和计算机程序产品。提供了一种用于在分布式系统中管理地址的方法。该分布式系统包括客户端和资源池，资源池包括多个主机，多个主机中的主机包括计算节点。该方法包括：接收来自客户端的访问请求，访问请求用于经由第一虚拟地址访问计算节点的物理存储器中的第一目标数据；基于第一虚拟地址来确定物理存储器；以及基于第一虚拟地址来确定第一目标数据在物理存储器中的第一物理地址，其中计算节点是图形处理单元，以及物理存储器是图形处理单元的存储器。进一步，提供了在分布式系统中管理地址的设备和计算机程序产品。以此方式，可以解决多个计算节点的存储设备中地址重叠的问题。

【技术实现步骤摘要】
在分布式系统中管理地址的方法、设备和计算机程序产品
本公开的实现概括地涉及分布式系统，并且更具体地，涉及用于在分布式系统中管理地址的方法、设备以及计算机程序产品。
技术介绍
客户端上的应用可以被设计用于利用处理和存储资源等计算资源来完成各种处理或分析任务。随着诸如机器学习、深度学习、数据挖掘等任务的需求和复杂度不断增加，需要大量和/或可变的计算节点来满足相应应用的运行。这可以通过具有多个计算节点的机器或系统来实现，其中应用可以被调度到该机器或系统的一个或多个计算节点上运行。例如，已经开发了基于云的分布式系统，该分布式系统包括具有一个或多个计算节点的机器。不同客户端可以根据需要来租赁该系统的计算节点(例如，计算节点)用以运行各自的应用。随着计算机技术的发展，计算节点的种类越来越丰富，并且已经不再局限于传统的诸如中央处理单元的计算节点。例如，目前图形处理单元(GraphicProcessingUnit，GPU)的计算能力越来越强。由于GPU特有性质，GPU特别适合于执行有关深度学习(DeepLearning)、高性能计算(HighPerformanceComputing)、以及机器学习(本文档来自技高网...

【技术保护点】
1.一种用于在分布式系统中管理地址的方法，所述分布式系统包括客户端和资源池，所述资源池包括多个主机，所述多个主机中的主机包括计算节点，所述方法包括：接收来自所述客户端的访问请求，所述访问请求用于经由第一虚拟地址访问所述计算节点的物理存储器中的第一目标数据；基于所述第一虚拟地址来确定所述物理存储器；以及基于所述第一虚拟地址来确定所述第一目标数据在所述物理存储器中的第一物理地址，其中所述计算节点是图形处理单元，以及所述物理存储器是所述图形处理单元的存储器。

【技术特征摘要】
1.一种用于在分布式系统中管理地址的方法，所述分布式系统包括客户端和资源池，所述资源池包括多个主机，所述多个主机中的主机包括计算节点，所述方法包括：接收来自所述客户端的访问请求，所述访问请求用于经由第一虚拟地址访问所述计算节点的物理存储器中的第一目标数据；基于所述第一虚拟地址来确定所述物理存储器；以及基于所述第一虚拟地址来确定所述第一目标数据在所述物理存储器中的第一物理地址，其中所述计算节点是图形处理单元，以及所述物理存储器是所述图形处理单元的存储器。2.根据权利要求1所述的方法，其中基于所述第一虚拟地址来确定所述物理存储器包括：基于预定地址映射来确定所述第一虚拟地址属于的地址范围，所述地址映射包括所述物理存储器与所述地址范围之间的映射关系；以及基于所述地址范围确定所述物理存储器。3.根据权利要求2所述的方法，其中确定所述第一物理地址包括：基于所述第一虚拟地址在所述地址范围内的偏移，确定所述第一物理地址。4.根据权利要求3所述的方法，进一步包括：接收来自所述物理存储器的反馈结果，所述反馈结果定义所述物理存储器中的第二物理地址处的第二目标数据；以及基于所述预定义地址映射、所述物理存储器和所述第二物理地址来确定与所述反馈结果相关联的第二虚拟地址以用于返回至所述客户端。5.根据权利要求4所述的方法，其中确定所述第二虚拟地址包括：根据所述地址映射确定与所述物理存储器相关联的地址范围的开始地址；以及在所述开始地址的基础上偏移所述第二物理地址以确定所述第二虚拟地址。6.根据权利要求1所述的方法，其中所述访问请求是来自所述客户端的对所述图形处理单元的远程过程调用。7.一种用于处理拷贝请求的方法，包括：响应于接收到来自客户端的拷贝请求，确定与所述拷贝请求相关联的源虚拟地址和目的地虚拟地址；利用根据权利要求1至6中的任一项所述的方法，基于所述源虚拟地址确定源物理存储器和源物理地址，以及基于所述目的地虚拟地址确定目的地物理存储器和目的地物理地址；以及基于所述源物理存储器和所述目的地物理存储器来处理所述拷贝请求。8.根据权利要求7所述的方法，其中基于所述源物理存储器和所述目的地物理存储器来处理所述拷贝请求包括：响应于确定所述源物理存储器和所述目的地物理存储器相同，在所述源物理存储器处，将与所述拷贝请求相关联的目标数据从所述源物理地址拷贝至所述目的地物理地址。9.根据权利要求6所述的方法，其中基于所述源物理存储器和所述目的地物理存储器来处理所述拷贝请求包括：响应于确定所述源物理存储器和所述目的地物理存储器不相同，确定所述源物理存储器所在的源主机和所述目的地物理存储器所在的目的地主机之间的连接状态；以及基于所述连接状态来处理所述拷贝请求。10.根据权利要求9所述的方法，其中基于所述连接状态来处理所述拷贝请求包括：响应于确定所述源主机和所述目的地主机之间存在直接连接，将与所述拷贝请求相关联的目标数据从所述源物理存储器的所述源物理地址拷贝至所述源主机的存储器以形成第一中间数据；经由所述直接连接将所述中间数据拷贝至所述目的地主机的存储器以形成第二中间数据；以及将所述第二中间数据拷贝至所述目的地物理存储器的所述目的地物理地址。11.根据权利要求9所述的方法，其中基于所述连接状态来处理所述拷贝请求包括：响应于确定所述源主机和所述目的地主机之间不存在直接连接，将与所述拷贝请求相关联的目标数据从所述源物理存储器的所述源物理地址拷贝至所述客户端以形成中间数据；以及将所述中间数据拷贝至所述目的地物理存储器的所述目的地物理地址。12.根据权利要求11所述的方法，其中将所述目标数据从所述源物理存储器的所述源物理地址拷贝至所述客户端以形成中间数据包括：将所述目标数据从所述源物理存储器的所述源物理地址拷贝至所述源主机的存储器以形成第一中间数据；以及将所述第一中间数据拷贝至所述客户端。13.根据权利要求11所述的方法，其中将所述中间数据拷贝至所述目的地物理存储器的所述目的地物理地址包括：将所述中间数据从所述客户端拷贝至所述目的地主机的存储器以形成第二中间数据；以及将所述第二中间数据拷贝至所述目的地物理存储器的所述目的地物理地址。14.一种用于在分布式系统中管理地址的设备，所述分布式系统包括客户端和资源池，所述资源池包括多个主机，所述多个主机中的主机包括计算节点，包括：至少一个处理器；易失性存储器；以及与所述至少一个处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被所述至少一个处理器执行时使得所述设备执行动作，所述动作包括：接收来自所述客户端的访问请求，所述访问请求用于经由第一虚拟地址访问所述计算节...

【专利技术属性】
技术研发人员：崔嵬，王鲲，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：美国,US