基于小波变换压缩和/或解压缩的神经网络处理方法技术

本公开提供了一种基于小波变换压缩和/或解压缩的神经网络处理方法，其中，所述神经网络处理方法包括：对片下数据进行压缩并发送至片上；对所述压缩并发送至片上的数据进行解压缩；接收所述解压缩后的数据并执行神经网络运算；对神经网络运算得到的数据进行压缩并发送至片下；以及对所述压缩并发送至片下的数据进行解压缩并存储为片下数据；其中，基于小波变换对数据进行所述压缩和/或解压缩操作。本公开基于小波变换压缩和/或解压缩的神经网络处理方法，通过在加载与存储数据时进行数据压缩，减少了IO量，降低了时间与能量开销。

Neural network processing method based on wavelet transform compression and / or decompression

The present disclosure provides a neural network processing method based on wavelet transform compression and/or decompression, in which the neural network processing method includes: compressing and sending the on-chip data; decompressing the data compressed and sent to the on-chip; receiving the decompressed data and executing the nerve system. Network operation; compression and transmission of data from neural network operation to on-chip; decompression and storage of the data compressed and sent to on-chip; where the data are compressed and/or decompressed based on wavelet transform. The present disclosure discloses a neural network processing method based on wavelet transform compression and/or decompression, which reduces IO amount and time and energy overhead by compressing data when loading and storing data.

【技术实现步骤摘要】
基于小波变换压缩和/或解压缩的神经网络处理方法
本公开属于计算机
，更具体地涉及一种基于小波变换的神经网络处理系统及方法。
技术介绍
人工神经网络(ArtificialNeuralNetworks，ANNs)简称为神经网络(NeuralNetworks，NNs)。它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。深度学习(deeρlearning)的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。目前的各种神经网络计算装置，往往面临访存瓶颈的问题，加载与存储数据造成了很大的时间与能量开销。
技术实现思路
(一)要解决的技术问题基于以上问题，本公开的目的在于提出一种基于小波变换的神经网络处理系统及方法，用于解决以上技术问题的至少之一。(二)技术方案为了达到上述目的，作为本公开的一个方面，提供了一种基于小波变换的神经网络处理方法，包括：对片下数据进行压缩并发送至片上；对所述压缩并发送至片上的数据进行解压缩；接收所述解压缩后的数据并执行神经网络运算；对神经网络运算得到的数据进行压缩并发送至片下；以及对所述压缩并发送至片下的数据进行解压缩并存储为片下数据；其中，基于小波变换对数据进行所述压缩和/或解压缩操作。在一些实施例中，所述进行解压缩及压缩的数据包括神经网络中的神经元数据和权值数据。在一些实施例中，在基于小波变换对数据进行所述压缩和/或解压缩操作的步骤中，利用小波基函数对数据进行小波变换，所述小波基函数包括哈尔基函数、Daubechies小波基函数、Biorthogonal小波基函数、MexicanHat小波基函数、Coiflets小波基函数、Symlets小波基函数、Morlet小波基函数、Meyer小波基函数、Gaus小波基函数、Dmeyer小波基函数、ReverseBior小波基函数。在一些实施例中，利用所述小波基函数通过阈值法、截取法、舍高频和取低频法对数据进行压缩。在一些实施例中，所述小波变换为一维的小波变换或二维的小波变换。在一些实施例中，在基于小波变换对数据进行所述压缩操作的步骤中，利用小波基函数表示需要压缩的数据，根据塔式结构对其进行多级分解，得到多级近似部分和细节部分，选择性的舍去细节部分，即实现所述压缩操作；在基于小波变换对数据进行所述解压缩操作的步骤中，将相应的各级近似部分与细节部分逐级复原，即实现所述解压缩操作。在一些实施例中，利用压缩指令和解压缩指令进行压缩操作和解压缩操作，所述压缩指令包括：域1，用于存储指令类型；域2用于存储源地址是否在片上信息；域3，用于存储目的地址是否在片上信息；域4，用于存储源地址是否使用寄存器；域5，用于存储目的地址是否使用寄存器；域6，用于存储源地址；域7，用于存储目的地址；域8，用于存储寄存器号。在一些实施例中，在片下压缩的步骤和片上解压缩的步骤之间还包括：在片上存储指令和经片下压缩后发送至片上的数据；在进行神经网络运算的步骤之前还包括：将所述指令译码为微指令；由此，利用所述微指令以及经片上解压缩后的数据进行神经网络运算。在一些实施例中，在片上存储指令和经片下压缩后发送至片上的数据的步骤之前，还包括：对所述经片下压缩后发送至片上的数据进行预处理。在一些实施例中，通过PCIe总线、DMA、无线网络实现所述数据在片上与片下之间传输。(三)有益效果(1)本公开可以利用小波变换对数据进行压缩，从而有效地减少了神经网络加速器所需的IO量，减少了能耗，提高了处理速度；另外，利用小波变换对数据进行解压缩，还原原数据，满足了神经网络处理的数据精度需求。(2)本公开可以利用小波变换对数据进行去噪声等有益操作，提高了数据质量。附图说明图1为依据本公开一实施例神经网络处理系统的方块图。图2为依据本公开另一实施例神经网络处理系统方块图。图3为依据本公开一实施例计算装置方块图。图4为依据本公开另一实施例计算装置及神经网络处理系统方块图。图5为依据本公开又一实施例计算装置及神经网络处理系统方块图。图6为依据本公开另一实施例计算装置方块图。图7为依据本公开又一实施例计算装置方块图。图8为依据本公开实施例神经网络处理方法流程图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。为了解决现有的各种神经网络计算装置面临访存瓶颈的问题，减少在加载与存储数据时造成的时间与能量开销，本公开利用小波变换对数据进行压缩，具体的可利用小波基函数对输入/输出数据进行小波变换，从而对数据进行压缩。小波变换(wavelettransform，WT)是一种变换分析方法，其继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。小波分析用于信号与图象压缩是小波变换应用的一个重要方面。它的特点是压缩比高，压缩速度快，压缩后能保持信号与图像的特征不变，且在传递中可以抗干扰。基于小波分析的压缩方法很多，典型的有小波包最好基方法等，这些方法都可以用来对神经网络中使用到的数据进行压缩，从而减少IO开销。在一些实施例中，如图1所示，所述基于小波变换的神经网络处理系统包括：片下压缩单元，用于对片下数据进行压缩并发送至片上；以及片上计算装置，与所述片下压缩单元连接，用于接收所述压缩并发送至片上的数据，执行神经网络运算；其中，所述压缩单元基于小波变换对所述片下数据进行压缩。本实施例通过对片下数据压缩再加载至片上，减少了IO数量，降低了时间与能量开销。在一些实施例中，如图2所示，所述的神经网络处理系统包括上述片下压缩单元和片上计算装置，还包括：片下解压缩单元；且所述片上计算装置包括片上解压缩单元和片上压缩单元；其中所述片下压缩单元，用于对片下数据进行压缩并发送至片上；所述片上解压缩单元，设于所述计算装置内，用于对经所述片下压缩单元压缩并发送至片上的数据进行解压缩；所述片上压缩单元，设于所述计算装置内，用于对片上数据进行压缩并发送至片下；以及所述片下解压缩单元，设于所述计算装置外，用于对经所述片上压缩单元压缩并发送至片下的数据进行解压缩。根据实际情况，若发送至片下的数据之后还会再次被加载到片上，则可以选择不对其解压缩，之后加载时也不再对其压缩。由此，通过对片上数据压缩再输出至片下，同样减少了IO数量，降低了时间与能量开销。上述实施例中，所述压缩单元基于小波变换对其输入数据进行压缩，具体的，利用小波基函数进行小波变换压缩操作；所述解压缩单元基于小波变换对其输入数据进行解压缩，使用相应的基函数对数据进行重构即可；二者执行的操作为逆操作，即解压缩为压缩的逆操作。所述小波变换压缩操作可以是任意一种小波变换压缩操作，包括但不限于“舍高频、取低频”、“阈值法”、“截取法”等，所述小波基函数，可以是任意一种小波基函数，包括但不限于哈尔基函数(Haarbasisfunction)、Daubechies小波基、Biorthogonal小波本文档来自技高网...

【技术保护点】
1.一种基于小波变换的神经网络处理方法，包括：对片下数据进行压缩并发送至片上；对所述压缩并发送至片上的数据进行解压缩；接收所述解压缩后的数据并执行神经网络运算；对神经网络运算得到的数据进行压缩并发送至片下；以及对所述压缩并发送至片下的数据进行解压缩并存储为片下数据；其中，基于小波变换对数据进行所述压缩和/或解压缩操作。

【技术特征摘要】
1.一种基于小波变换的神经网络处理方法，包括：对片下数据进行压缩并发送至片上；对所述压缩并发送至片上的数据进行解压缩；接收所述解压缩后的数据并执行神经网络运算；对神经网络运算得到的数据进行压缩并发送至片下；以及对所述压缩并发送至片下的数据进行解压缩并存储为片下数据；其中，基于小波变换对数据进行所述压缩和/或解压缩操作。2.根据权利要求1所述的神经网络处理方法，其中，所述进行解压缩及压缩的数据包括神经网络中的神经元数据和权值数据。3.根据权利要求1所述的神经网络处理方法，其中，在基于小波变换对数据进行所述压缩和/或解压缩操作的步骤中，利用小波基函数对数据进行小波变换，所述小波基函数包括哈尔基函数、Daubechies小波基函数、Biorthogonal小波基函数、MexicanHat小波基函数、Coiflets小波基函数、Symlets小波基函数、Morlet小波基函数、Meyer小波基函数、Gaus小波基函数、Dmeyer小波基函数、ReverseBior小波基函数。4.根据权利要求3所述的神经网络处理方法，其中，利用所述小波基函数通过阈值法、截取法、舍高频和取低频法对数据进行压缩。5.根据权利要求4所述的神经网络处理方法，其中，所述小波变换为一维的小波变换或二维的小波变换。6.根据权利要求1所述的神经网络处理方法，其中，在基于小波变换对数据进...

【专利技术属性】
技术研发人员：张潇，金禄旸，张磊，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11