用以减少GPU存储器的ReLU压缩制造技术

呈现了一种用于在深度神经网络的学习过程中采用的图形处理单元(GPU)上压缩修正线性单元(ReLU)函数的数据的方法。该方法包括：通过以下操作来将包括非零数据和零数据的初始数据结构转换为仅包括初始数据结构的非零数据的压缩数据结构作为压缩数据：生成非零数据位图区域，通过采用并行约简算法来生成非零数据数目表区域，通过采用并行前缀和扫描算法来计算来自非零数据数目表区域的所有块的按块非零数据阵列索引区域，针对压缩数据分配缓冲区；以及并行地将非零数据从初始数据结构复制到压缩数据格式的非零数据阵列区域中。到压缩数据格式的非零数据阵列区域中。到压缩数据格式的非零数据阵列区域中。

【技术实现步骤摘要】
【国外来华专利技术】用以减少GPU存储器的ReLU压缩

技术介绍

[0001]本专利技术总体涉及图形处理单元(GPU)存储器的压缩，并且更具体地，涉及通过整流线性单元(ReLU)压缩技术来减少GPU存储器。
[0002]设备可以具有一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。CPU中的每个CPU是通用处理设备，诸如微处理器或另一类型的处理器，并且用于设备的一般计算任务。另外，GPU中的每个GPU是被设计为快速操纵并更改存储器以加速在帧缓冲器中的既定用于输出到显示器的图像的创建的专用电子电路。最近，这些GPU可以用作GPU上的通用计算以用于计算机任务。GPU上的通用计算是利用通常仅处理针对计算机图形的计算的GPU，以在传统上由CPU处理的过程中执行计算。例如，提供对任意位执行的操作的功能集的GPU可以用于GPU上的通用计算。
[0003]然而，GPU存储器通常小于CPU存储器，并且GPU有时不足以用于大型神经网络模型。CPU和GPU之间的数据传送与GPU的计算速度相比相对较慢。因此，GPU可能难以有效地压缩数据。压缩需要大量的计算，但是在GPU上有效地本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在深度神经网络的学习过程中采用的图形处理单元(GPU)上压缩整流线性单元(ReLU)函数的数据的方法，所述方法包括：通过以下操作将包括非零数据和零数据的初始数据结构转换成仅包括所述初始数据结构的所述非零数据的压缩数据结构作为压缩数据：生成非零数据位图区域；通过采用并行约简算法，生成非零数据数目表区域；通过采用并行前缀和扫描算法，计算来自所述非零数据数目表区域的所有块的按块非零数据阵列索引区域；针对所述压缩数据分配缓冲区；以及并行地将来自所述初始数据结构的所述非零数据以压缩数据格式复制到非零数据阵列区域中。2.根据权利要求1所述的方法，其中所述压缩数据通过从所述初始数据结构的所述非零数据和所述零数据分配所述缓冲区并且然后清除所述缓冲区而被解压缩。3.根据权利要求2所述的方法，其中所述解压缩还包括通过采用所述并行前缀和扫描算法，计算来自所述非零数据数目表的所有块的所述按块非零数据阵列索引区域。4.根据权利要求3所述的方法，其中所述解压缩还包括并行地将来自所述初始数据结构的所述非零数据阵列复制到所述非零数据位图区域中。5.根据权利要求1所述的方法，其中所述非零数据位图区域被直接地显示在所述压缩数据结构中的所述按块非零数据阵列索引区域的上方。6.根据权利要求1所述的方法，其中所述非零数据数目表区域被直接地显示在所述压缩数据结构中的所述非零数据位图区域的上方。7.根据权利要求1所述的方法，其中所述非零数据位图区域以顺序方式显示二进制格式的所述未压缩数据。8.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于在深度神经网络的学习过程中采用的图形处理单元(GPU)上压缩整流线性单元(ReLU)函数的数据的计算机可读程序，其中所述计算机可读程序当在计算机上被执行时使所述计算机：通过以下操作将包括非零数据和零数据的初始数据结构转换成仅包括所述初始数据结构的所述非零数据的压缩数据结构作为压缩数据：生成非零数据位图区域；通过采用并行约简算法，生成非零数据数目表区域；通过采用并行前缀和扫描算法，计算来自所述非零数据数目表区域的所有块的按块非零数据阵列索引区域；针对所述压缩数据分配缓冲器；以及并行地将来自所述初始数据结构的所述非零数据以压缩数据格式复制到非零数据阵列区域中。9.根据权利要求8所述的非暂态计算机可读存储介质，其中所述压缩数据通过从所述初始数据结构的所述非零数据和所述零数据分配所述缓冲区并且然后清除所述缓冲区而被解压缩。10.根据权利...

【专利技术属性】
技术研发人员：根岸康，T，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：