GPU写请求数据的延迟控制方法、装置以及云计算系统制造方法及图纸

本发明专利技术公开了一种GPU写请求数据的延迟控制方法、装置以及云计算系统，涉及云计算领域，其中的方法包括：接收到对于GPU内存的写请求数据；在主机侧对写请求数据进行缓存；计算GPU的延迟请求时间；当到达延迟发送时间点时，将在延迟请求时间内与GPU对应的写请求数据进行合并处理，并写入GPU的内存。本发明专利技术的GPU写请求数据的延迟控制方法、装置以及云计算系统，在主机侧对GPU内存写入请求进行基于策略的延迟控制，根据GPU的空闲情况采用可调的延迟控制，合并在延迟时间内的多个写存请求进行批量写入，可有效避免小数据频繁传输导致的IO资源大量消耗，能够提升IO性能，进一步发挥协同计算中GPU的计算能力。

Delay control method, device and cloud computing system for writing request data by GPU

Control method, device and cloud delay, the invention discloses a GPU write request data calculation system, relates to the field of cloud computing, the method includes: receiving the written request for the GPU memory to cache data; write request data on the host side; calculating the GPU request delay time; when the arrival time delay when will merge in the delay request within the time corresponding with GPU write request data, and write GPU memory. Control method and device, and the invention of the GPU cloud delayed write request data in the host computing system, on the side of the GPU memory write request delay based on control strategy, according to the free GPU with adjustable delay control, and during the delay period of a plurality of write requests for batch writing, which can effectively avoid the small the data transmission caused by frequent IO large consumption of resources, to improve the performance of IO, to further develop the collaborative computing capacity calculation GPU.

【技术实现步骤摘要】
GPU写请求数据的延迟控制方法、装置以及云计算系统
本专利技术涉及云计算
，尤其涉及一种GPU写请求数据的延迟控制方法、装置以及云计算系统。
技术介绍
云计算(CloudComputing)是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似，能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。目前，GPU(GraphicsProcessingUnit，图形处理器)已经发展成为了并行度高、多线程、计算快捷及内存带宽大的高性能通用处理器。GPU中不同层次存储结构具有不同的资源容量和访问延迟等特性。在云计算系统中，GPU与CPU(CentralProcessingUnit，中央处理器)协同计算，数据频繁地通过PCI-E(PCIExpress)总线从主机内存拷贝到GPU内存，大量小数据的写入中断请求消耗了大量的IO(InputOutput，输入、输出)资源，极大降低了系统的总体IO性能，导致GPU得不到足够的数据从而计算能力不能被最大化利用。
技术实现思路
有鉴于此，本专利技术要解决的一个技术问题是一种GPU写请求数据的延迟控制方法、装置以及云计算系统。一种图形处理器GPU写请求数据的延迟控制方法，包括：接收到对于GPU内存的写请求数据；在主机侧对所述写请求数据进行缓存；计算所述GPU的延迟请求时间；当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。根据本专利技术的一个实施例，进一步的，所述接收到对于GPU内存的写请求数据、在主机侧对所述写请求数据进行缓存包括：设置多个请求队列；其中，所述多个请求队列与多个GPU为一一对应设置；接收到应用程序的写请求数据，确定此写请求数据请求写入的目的GPU，将此写请求数据放入与所述目的GPU相对应的请求队列中。根据本专利技术的一个实施例，进一步的，所述计算所述GPU的延迟请求时间包括：获取各个GPU的资源使用数据，基于所述资源使用数据计算此GPU的空闲内存；其中，所述资源使用数据包括：GPU的流处理器的实时利用率、内存空闲率；计算GPU的延迟系数以及主机侧对GPU的延迟请求时间。根据本专利技术的一个实施例，进一步的，计算GPU的空闲内存的公式为：Mi＝M*ui；其中，Mi为第i个GPU的空闲内存，M为第i个GPU的固定内存，ui为第i个GPU的内存空闲率。根据本专利技术的一个实施例，进一步的，计算GPU的延迟系数的公式为：计算主机侧对GPU的延迟请求时间的公式为：Ti＝di*T；其中，di为第i个GPU的延迟系数，Ti为第i个GPU的延迟请求时间，Gi为第i个GPU的流处理器的实时利用率，T为常量，Gj为第j个GPU的流处理器的实时利用率,n为多个GPU的数量。根据本专利技术的一个实施例，进一步的，所述当到达延迟发送时间点时、将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理、并写入所述GPU的内存包括：根据各个GPU的延迟请求时间进行排序；当到达一个GPU的延迟发送时间点时，将与此GPU对应的请求队列中在所述延迟请求时间内的写请求数据进行合并，形成请求写入数据，并将所述请求写入数据写入此GPU内存。根据本专利技术的一个实施例，进一步的，包括：判断所述请求写入数据是否大于其对应的GPU的空闲内存，如果是，则将所述请求写入数据超出其对应的GPU的空闲内存的数据保留在请求队列中。一种GPU写请求数据的延迟控制装置，包括：数据缓存模块，用于接收到对于GPU内存的写请求数据，在主机侧对所述写请求数据进行缓存；延迟计算模块，用于计算所述GPU的延迟请求时间；数据合并模块，用于当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。根据本专利技术的一个实施例，进一步的，所述数据缓存模块，还用于设置多个请求队列；其中，所述多个请求队列与多个GPU为一一对应设置；接收到应用程序的写请求数据，确定此写请求数据请求写入的目的GPU，将此写请求数据放入与所述目的GPU相对应的请求队列中。根据本专利技术的一个实施例，进一步的，所述延迟计算模块，用于获取各个GPU的资源使用数据，基于所述资源使用数据计算此GPU的空闲内存；其中，所述资源使用数据包括：GPU的流处理器的实时利用率、内存空闲率；计算GPU的延迟系数以及主机侧对GPU的延迟请求时间。根据本专利技术的一个实施例，进一步的，所述延迟计算模块计算GPU的空闲内存的公式为：Mi＝M*ui；其中，Mi为第i个GPU的空闲内存，M为第i个GPU的固定内存，ui为第i个GPU的内存空闲率。根据本专利技术的一个实施例，进一步的，所述延迟计算模块计算GPU的延迟系数的公式为：所述延迟计算模块计算主机侧对GPU的延迟请求时间的公式为：Ti＝di*T；其中，di为第i个GPU的延迟系数，Ti为第i个GPU的延迟请求时间，Gi为第i个GPU的流处理器的实时利用率，T为常量，Gj为第j个GPU的流处理器的实时利用率,n为所述多个GPU的数量。根据本专利技术的一个实施例，进一步的，所述数据合并模块，用于根据各个GPU的延迟请求时间进行排序；当到达一个GPU的延迟发送时间点时，将与此GPU对应的请求队列中在所述延迟请求时间内的写请求数据进行合并，形成请求写入数据，并将所述请求写入数据写入此GPU内存。根据本专利技术的一个实施例，进一步的，所述数据合并模块，用于判断所述请求写入数据是否大于其对应的GPU的空闲内存，如果是，则将所述请求写入数据超出其对应的GPU的空闲内存的数据保留在请求队列中。一种云计算系统，包括如上所述的GPU写请求数据的延迟控制装置。本专利技术的GPU写请求数据的延迟控制方法、装置以及云计算系统，在主机侧对GPU内存写入请求进行基于策略的延迟控制，根据GPU的空闲情况采用可调的延迟控制，合并在延迟时间内的多个写存请求进行批量写入，可有效避免小数据频繁传输导致的IO资源大量消耗。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为根据本专利技术的GPU写请求数据的延迟控制方法的一个实施例的流程示意图；图2为根据本专利技术的GPU写请求数据的延迟控制方法的另一个实施例的流程示意图；图3为在云计算系统中实施GPU写请求数据的延迟控制方法的示意图；图4为根据本专利技术的GPU写请求数据的延迟控制装置的一个实施例的模块示意图。具体实施方式下面参照附图对本专利技术进行更全面的描述，其中说明本专利技术的示例性实施例。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面结合各个图和实施本文档来自技高网...

【技术保护点】
一种图形处理器GPU写请求数据的延迟控制方法，其特征在于，包括：接收到对于GPU内存的写请求数据；在主机侧对所述写请求数据进行缓存；计算所述GPU的延迟请求时间；当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。

【技术特征摘要】
1.一种图形处理器GPU写请求数据的延迟控制方法，其特征在于，包括：接收到对于GPU内存的写请求数据；在主机侧对所述写请求数据进行缓存；计算所述GPU的延迟请求时间；当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。2.如权利要求1所述的方法，其特征在于，所述接收到对于GPU内存的写请求数据、在主机侧对所述写请求数据进行缓存包括：设置多个请求队列；其中，所述多个请求队列与多个GPU为一一对应设置；接收到应用程序的写请求数据，确定此写请求数据请求写入的目的GPU，将此写请求数据放入与所述目的GPU相对应的请求队列中。3.如权利要求2所述的方法，其特征在于，所述计算所述GPU的延迟请求时间包括：获取各个GPU的资源使用数据，基于所述资源使用数据计算此GPU的空闲内存；其中，所述资源使用数据包括：GPU的流处理器的实时利用率、内存空闲率；计算GPU的延迟系数以及主机侧对GPU的延迟请求时间。4.如权利要求3所述的方法，其特征在于：计算GPU的空闲内存的公式为：Mi＝M*ui；其中，Mi为第i个GPU的空闲内存，M为第i个GPU的固定内存，ui为第i个GPU的内存空闲率。5.如权利要求4所述的方法，其特征在于：计算GPU的延迟系数的公式为：计算主机侧对GPU的延迟请求时间的公式为：Ti＝di*T；其中，di为第i个GPU的延迟系数，Ti为第i个GPU的延迟请求时间，Gi为第i个GPU的流处理器的实时利用率，T为常量，Gj为第j个GPU的流处理器的实时利用率,n为所述多个GPU的数量，i,j为自然数。6.如权利要求5所述的方法，其特征在于，所述当到达延迟发送时间点时、将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理、并写入所述GPU的内存包括：根据各个GPU的延迟请求时间进行排序；当到达一个GPU的延迟发送时间点时，将与此GPU对应的请求队列中在所述延迟请求时间内的写请求数据进行合并，形成请求写入数据，并将所述请求写入数据写入此GPU内存。7.如权利要求6所述的方法，其特征在于，包括：判断所述请求写入数据是否大于其对应的GPU的空闲内存，如果是，则将所述请求写入数据超出其对应的GPU的空闲内存的数据保留在请求队列中。8.一种GPU写请求数据的延迟控制装置，...

【专利技术属性】
技术研发人员：张萍，陈云海，刘晓玲，铁兵，林立宇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京,11