在稀疏值映射到非零值的情况下针对深度学习的压缩制造技术

本文所描述的实施例提供了一种处理装置，所述处理装置包括计算逻辑，所述计算逻辑用于生成卷积神经网络(CNN)的神经网络数据并将所述神经网络数据写入存储器缓冲器。所述计算逻辑另外包括直接存储器存取(DMA)控制器，所述DMA控制器包括具有编码单元和解码单元的硬件编解码器，所述DMA控制器用于：从所述存储器缓冲器读取所述神经网络数据；经由所述编码单元对所述神经网络数据进行编码；将经编码神经网络数据写入与所述处理装置耦合的存储器设备中；将所述经编码神经网络数据的元数据写入与所述处理装置耦合的所述存储器设备；并且响应于来自所述计算逻辑的请求而经由所述解码单元对经编码神经网络数据进行解码。

Compression for in-depth learning when sparse values are mapped to non-zero values

【技术实现步骤摘要】
在稀疏值映射到非零值的情况下针对深度学习的压缩
实施例总体上涉及用于使用通用图形处理单元来执行处理操作的逻辑。更具体地，实施例涉及对卷积神经网络的特征图和权重进行编码和解码。
技术介绍
神经网络可以被建模为以非循环图方式连接的神经元的集合。神经网络可以接收输入(单个向量)，并通过一系列隐藏层对其进行变换。每个隐藏层由一组神经元组成，其中，每个神经元完全连接到前一层中的所有神经元，并且其中，单个层中的神经元完全独立地起作用并且不共享任何连接。最后一个完全连接层被称为“输出层”，并且在分类设置中其表示分类评分。卷积神经网络(CNN)类似于标准神经网络。每个神经元接收一些输入、执行点积并且可选地后接非线性。然而，CNN被显式地定制为处置输入图像数据。基于原始图像数据输入，所述网络输出输入数据的分类评分。CNN拓扑处置大量数据。理想地，在芯片上存储器内处理这种数据。权重矩阵内核数据通常可以消耗几百兆字节数量级的内存。另外，CNN中的每一层都可以以输出特征图的形式产生大量数据。在实施CNN的计算系统的操作期间，可以从系统主存储器中读取内核数据。CNN层的输出特征图(OFM)也可以存储在主存储器本文档来自技高网...

【技术保护点】
1.一种处理装置，包括：计算逻辑，用于生成卷积神经网络(CNN)的神经网络数据并将所述神经网络数据写入存储器缓冲器；以及直接存储器存取(DMA)控制器，所述DMA控制器包括具有编码单元和解码单元的硬件编解码器，所述DMA控制器用于：从所述存储器缓冲器读取所述神经网络数据；经由所述编码单元对所述神经网络数据进行编码；将经编码神经网络数据写入与所述处理装置耦合的存储器设备；将所述经编码神经网络数据的元数据写入与所述处理装置耦合的所述存储器设备；并且响应于来自所述计算逻辑的请求而经由所述解码单元对经编码神经网络数据进行解码。

【技术特征摘要】
2017.12.22 US 15/853,4571.一种处理装置，包括：计算逻辑，用于生成卷积神经网络(CNN)的神经网络数据并将所述神经网络数据写入存储器缓冲器；以及直接存储器存取(DMA)控制器，所述DMA控制器包括具有编码单元和解码单元的硬件编解码器，所述DMA控制器用于：从所述存储器缓冲器读取所述神经网络数据；经由所述编码单元对所述神经网络数据进行编码；将经编码神经网络数据写入与所述处理装置耦合的存储器设备；将所述经编码神经网络数据的元数据写入与所述处理装置耦合的所述存储器设备；并且响应于来自所述计算逻辑的请求而经由所述解码单元对经编码神经网络数据进行解码。2.如权利要求1所述的处理装置，其中：所述计算逻辑用于请求所述DMA控制器从所述存储器设备读取所述经编码神经网络数据；响应于来自所述计算逻辑的所述请求，所述DMA控制器用于预取所述经编码神经网络数据的所述元数据；并且所述DMA控制器用于基于所预取的元数据对所述经编码神经网络数据进行解码。3.如权利要求1所述的处理装置，其中，所述神经网络数据包括特征图数据和内核数据。4.如权利要求3所述的处理装置，其中，所述硬件编解码器用于使用从一组多种编码模式中选择的编码模式对所述特征图数据进行编码。5.如权利要求4所述的处理装置，其中，所述一组多种编码模式包括用于经由对唯一绝对值、非零值和残差值中的两个或更多个进行编码以缩减位表示来对所述神经网络数据进行编码的编码模式。6.如权利要求5所述的处理装置，其中，所述一组多种编码模式另外包括用于以缩减位表示对等差值数列进行编码的编码模式。7.如权利要求6所述的处理装置，其中，所述一组多种编码模式另外包括用于以缩减位表示来对具有高频率值的神经网络数据进行编码的编码模式。8.如权利要求1所述的处理装置，其中，用于生成所述神经网络数据的所述计算逻辑是通用图形处理单元内的计算逻辑。9.一种执行处理操作以实现卷积神经网络(CNN)的方法，所述方法包括：在从存储器读取所述CNN的经编码内核数据的同时对所述经编码内核数据进行解码；使用经解码内核数据经由通用图形处理单元内的计算逻辑生成所述CNN中的层的特征图数据；在写入存储器期间，经由直接存储器存取(DMA)控制器内的硬件编码逻辑对所述CNN的所述层的所述特征图数据进行编码；在从存储器读取经编码特征图数据的同时对所述经编码特征图数据进行解码；以及处理所述特征图数据作为所述CNN中的下一层的输入特征图数据，其中，对所述经编码内核数据进行解码包括预取与所述经编码内核数据相关联的元数据，与所述经编码内核数据相关联的所述元数据与所述经编码内核数据分开存储。10.如权利要求9所述的方法，其中，对所述经编码特征图数据进行解码包括预取与所述经编码特征图数据相关联的元数据，与所述经编码特征图数据相关联的所述元数据与所述经编码特征图数据分开存储。11.如权利要求9所述的方法，另外包括：经由所述DMA控制器内的硬件解码逻辑对所述特征图数据进行解码。12.如权利要求9所述的方法，另外包括：使用从一组多种编码模式中选择的一种或多种编码模式经由硬件编码逻辑对所述特征图数据进行编码，其中，所述一组多种编码模式包括用于经由对唯一绝对值、非零值和残差值中的两个或更多个进行编码以缩减位表示来存储内核数据或特征图数据的编码模式，并且其中，所述一组多种编码模式另外包括用于以缩减位表示来对等差值数列进行编码的编码模式。13.如权利要求9所述的方法，另外包括：经由所述DMA控制器内的所述硬件编码逻辑对所述CNN的内核数据进行编码。14.如权利要求13所述的方法，其中，对所述CNN的所述内...

【专利技术属性】
技术研发人员：A·辛格，B·答加，M·比哈尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US