The invention provides a data processing method and device for solving the problems of low data transmission efficiency and large storage space overhead in the prior art. It includes: obtaining the first data set from disk to main memory; controlling the CPU to decompress the first data set according to the first decompression algorithm, and determining the second data set after the first decompression, in which the first decompression algorithm is the decompression algorithm corresponding to the compression method that does not support random access; and obtaining the second data set from main memory to image. The memory of the processor GPU; controls at least one processing core of the GPU to perform a second decompression of the second data set according to the second decompression algorithm, in which the second decompression algorithm is a random access decompression algorithm.
【技术实现步骤摘要】
一种数据处理的方法及装置
本专利技术涉及计算机
,尤其涉及一种数据处理的方法及装置。
技术介绍
图形处理器(GraphicsProcessingUnit,GPU)是计算机中包括的一种硬件,GPU可以利用内部众多的处理核心协助计算机的中央处理器(CentralProcessingUnit,CPU)对多种类型计算任务进行并行加速,图1为一台包括GPU的计算机的计算和存储框架示意图,具体的,当需要使用GPU对数据进行处理时,首先需要将被处理数据从计算机的磁盘导入主存,然后从主存传输到GPU的显存中,然后GPU中处理核心从所述显存中获取被处理数据进行处理。在上述过程中,当被处理数据的数据量较大时,被处理数据从磁盘导入主存的传输开销较大且主存中需要较大的存储空间,当被处理数据的数据量大于GPU的显存时,在数量处理的过程中需要在计算机的主存和GPU的显存之间进行大量的数据倒换,进一步增加了传输开销,影响传输效率。现有技术中,为了减小传输开销,在被处理数据存入磁盘之前采用基于熵的压缩方法对被处理数据进行压缩,当磁盘中存储的压缩后的被处理数据需要进行解压时,将磁盘中存储的压缩后的被处理数据导入主存,再将主存压缩后的被处理数据发送至显存,由于被处理数据被压缩,因此减小了传输开销,提高了传输效率,但是存入显存的压缩后的被处理数据在进行处理之前需要进行解压,由于基于熵的压缩方法在解压过程中的串行特性,无法通过GPU的内部众多处理核心并行处理,导致解压效率低,解压时间长,导致数据处理效率低,并且,在解压过程中压缩后的被处理数据和解压后被处理数据都需要驻留在GPU显存中,增加 ...
【技术保护点】
1.一种数据处理的方法,其特征在于,包括:从磁盘中获取第一数据集合到主存;控制中央处理器CPU根据第一解压算法对所述第一数据集合进行第一次解压,确定所述第一次解压后的第二数据集合,其中,所述第一解压算法为不支持随机访问的压缩方法对应的解压算法;从主存中获取所述第二数据集合到图像处理器GPU的显存;控制所述GPU的至少一个处理核心根据第二解压算法对所述第二数据集合进行第二次解压,其中,所述第二解压算法为随机访问解压算法。
【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:从磁盘中获取第一数据集合到主存;控制中央处理器CPU根据第一解压算法对所述第一数据集合进行第一次解压,确定所述第一次解压后的第二数据集合,其中,所述第一解压算法为不支持随机访问的压缩方法对应的解压算法;从主存中获取所述第二数据集合到图像处理器GPU的显存;控制所述GPU的至少一个处理核心根据第二解压算法对所述第二数据集合进行第二次解压,其中,所述第二解压算法为随机访问解压算法。2.如权利要求1所述的方法,其特征在于,所述控制所述CPU根据第一解压算法对所述第一数据集合进行第一次解压,确定所述第一次解压后的第二数据集合之后,该方法还包括:将所述第二数据集合写入主存的一次压缩数据缓冲区。3.如权利要求2所述的方法,其特征在于,所述从主存中获取所述第二数据集合到图像处理器GPU的显存,具体包括:从主存的一次压缩数据缓冲区中获取所述第二数据集合到图像处理器GPU的显存的显存数据缓冲区。4.如权利要求3所述的方法,其特征在于,所述控制所述GPU的至少一个处理核心根据第二解压算法对所述第二数据集合进行第二次解压之后,该方法包括:将所述GPU的显存的显存数据缓冲区中的第二数据集合移除。5.如权利要求1所述的方法,其特征在于,所述控制所述GPU的至少一个处理核心根据第二解压算法对所述第二数据集合进行第二次解压,具体包括:控制所述GPU的多个核以并行方式对所述第二数据集合进行第二次解压,确定解压后的第一原始数据集合,将所述第一原始数据集合写入所述GPU的显存。6.如权利要求5所述的方法,其特征在于,所述控制所述GPU的多个核以并行方式对所述第二数据集合进行第二次解压,确定解压后的第一原始数据集合,将所述第一原始数据集合写入所述GPU的显存,具体包括:控制所述多个处理核从所述GPU的显存中的所述第一原始数据集合中获取数据进行处理。7.如权利要求1所述的方法,其特征在于,所述控制所述GPU的至少一个处理核心根据第二解压算法对所述第二数据集合进行第二次解压,具体包括:控制所述GPU的多个处理核对所述第二数据集合进行第二次解压,将解压后的数据写入所述多...
【专利技术属性】
技术研发人员:谢超,郭人通,易小萌,
申请(专利权)人:上海赜睿信息科技有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。