【技术实现步骤摘要】
数据处理方法及处理装置
本公开涉及计算机领域，进一步涉及人工智能领域。
技术介绍
神经网络以及机器学习算法已经获得了非常成功的应用。但是随着我们设计更大规模，更深层次的神经网络，将引入更多的权值，而超大规模权值成为神经网络计算的一个巨大挑战。一方面，超大规模的权值数据对存储提出了更高的要求，尤其是在手机等嵌入式设备中，存储相当有限，可能导致无法存放所有的权值数据。另一个方面，大量访问权值数据将带来巨大的访存能耗，因此，如何压缩神经网络规模成为一个亟待解决的问题。公开内容(一)要解决的技术问题有鉴于此，本公开提供了一种数据处理方法及加速装置。(二)技术方案根据本公开的第一方面，提供一种数据处理方法，其中包括：将神经网络的权值转化为图像、视频和/或音频格式；将格式转化后的代表神经网络权值的图像、视频和/或音频进行压缩。进一步的，将神经网络的权值转化为图像、视频和/或音频格式，包括步骤：将神经网络的每一层的权值被映射到大于等于0小于2的n次幂，其中n正整数；设定每一层中权值的最小值Wmin和最大值Wmax，该层权值的分布区间为[Wmin，Wmax]；将该区间平均分为2的n次幂份，按照从小到大的顺序将区间标记为0至2的n次幂减1，处于对应区间的权值映射成为该区间的编号。进一步的，所述n为8的正整数倍。进一步的，在将神经网络的权值转化为图像格式时，包括步骤：将神经网络的全连接层设为一个二维矩阵(Nin，Nout)，其中Nin和Nout均为大于0的正整数，Nin表示输入神经元的个数，Nout表示输出神经元的个数；将神经网络的全连接层映射为一幅长为Nin，宽为Nout，...
【技术保护点】
1.一种数据处理方法，其中包括：将神经网络的权值转化为图像、视频和/或音频格式；将格式转化后的代表神经网络权值的图像、视频和/或音频进行压缩。
【技术特征摘要】
1.一种数据处理方法，其中包括：将神经网络的权值转化为图像、视频和/或音频格式；将格式转化后的代表神经网络权值的图像、视频和/或音频进行压缩。2.根据权利要求1所述的方法，其特征在于，将神经网络的权值转化为图像、视频和/或音频格式，包括步骤：将神经网络的每一层的权值被映射到大于等于0小于2的n次幂，其中n正整数；设定每一层中权值的最小值Wmin和最大值Wmax，该层权值的分布区间为[Wmin，Wmax]；将该区间平均分为2的n次幂份，按照从小到大的顺序将区间标记为0至2的n次幂减1，处于对应区间的权值映射成为该区间的编号。3.根据权利要求2所述的方法，其特征在于，所述n为8的正整数倍。4.根据权利要求1-3任一所述的方法，其特征在于，在将神经网络的权值转化为图像格式时，包括步骤：将神经网络的全连接层设为一个二维矩阵(Nin，Nout)，其中Nin和Nout均为大于0的正整数，Nin表示输入神经元的个数，Nout表示输出神经元的个数；将神经网络的全连接层映射为一幅长为Nin，宽为Nout，大小为Nin*Nout的图像。5.根据权利要求1-4任一所述的方法，其特征在于，在将神经网络的权值转化为图像格式时，包括步骤：将神经网络的卷积层设为一个四维矩阵(Nfin，Nfout，Kx，Ky)，其中Nfin表示输入特征图像数量，Nout表示输出特征图像数量，(Kx，Ky)表示卷积核的大小；将神经网络卷积层的权值映射为一幅长为(Nfin*Kx)，宽为(Nfout*Ky)，大小为(Nfin*Nfout*Kx*Ky)的图像。6.根据权利要求1-5任一所述的方法，其特征在于，在将神经网络的权值转化为图像格式时，包括步骤：设LSTM层的权值由m个全连接层权值组成，m为大于0的正整数，其中，第i个全连接层权值为(Nin_i，Nout_i)，i是小于m的正整数，Nin_i表示第i个全连接层权值输入神经元个数，Nout_i表示第i个全连接层权值输出神经元个数；将LSTM层的第i个全连接层权值被映射成长为Nin_i，宽为Nout_i，大小为Nin_i*Nout_i的图像；LSTM层的m个全连接层总共映射为m幅不同的图像。7.根据权利要求1-6任一所述的方法，其特征在于，在将神经网络的权值转化为视频格式时，还包括步骤：将神经网络的全连接层设为一个二维矩阵(Nin，Nout)，其中Nin，Nout是大于0的正整数，Nin表示输入神经元的个数，Nout表示输出神经元的个数；将神经网络的全连接层按照(Bin，Bout)的块大小被分割为(Nin*Nout)/(Bin*Bout)个子块，其中Bin是大于0小于且为Nin的正整数倍，Bout是大于0且为Nout的正整数倍，每一个子块设为一幅图像，这些图像按照视频格式被填充为视频的一帧。8.根据权利要求1-7任一所述的方法，其特征在于，在将神经网络的权值转化为视频格式时，还包括步骤：将神经网络的卷积层设为一个四维矩阵(Nfin，Nfout，Kx，Ky)，其中Nfin表示输入特征图像数量，Nout表示输出特征图像数量，(Kx，Ky)表示卷积核的大小；将神经网络的卷积层按照(Bfin，Bfout，Bx，By)的块大小被分割为(Nfin*Nfout*Kx*Ky)/(Bfin*Bfout*Bx*By)个子块，其中Bfin是大于0小于等于Nfin的正整数，Bfout是大于0小于等于Nfout的正整数，Bx是大于0小于等于Kx的正整数，By是大于0小于等于Ky的正整数，每一个子块可以看成是一幅长为(Bfin*Bx)，宽为(Bfout*By)的图像，这些图像按照视频格式被填充为视频的一帧。9.根据权利要求1-8任一所述的方法，其特征在于，将神经网络的权值转化为视频格式时，还包括步骤：设神经网络的LSTM层由m个全连接层权值组成，m为大于0的正整数，其中，第i个全连接层权值为(Nin_i，Nout_i)，i是小于m的正整数，Nin_i表示第i个全连接层权值输入神经元个数，Nout_i表示第i个全连接层权值输出神经元个数；将LSTM的第i个全连接层权值按照(Bin_i，Bout_i)的块大小分割为(Nin_i*Nout_i)/(Bin_i*Bout_i)个子块，其中Bin_i是大于0且小于等于Nin_i的正整数，Bout_i是大于0且小于等于Nout_i的正整数，每一个子块设为一幅图像，(Nin_i*Nout_i)/(Bin_i*Bout_i)个子块的图像按照视频格式被填充为视频的一帧；将LSTM层的m个全连接层的映射为含m个不同的视频。10.根据权利要求1-9任一所述的方法，其特征在于，在将神经网络的权值转化为音频格式时，包括步骤：设神经网络的全连接层为一个二维矩阵(Nin，Nout)，其中Nin，Nout是大于0的正整数，Nin表示输入神经元的个数，Nout表示输出神经元的个数；将神经网络的全连接层的权值按照采样率f填充为一个音频，其中f为大于0的正整数。11.根据权利要求1-10任一所述的方法，其特征在于，将神经网络的权值转化为音频格式时，包括步骤：设神经网络的卷积层为一个四维矩阵(Nfin，Nfout，Kx，Ky)，其中Nfin表示输入特征图像(featuremap)数量，Nout表示输出特征图像数量，(Kx，Ky)表示卷积核(kernel)的大小；将神经网络的全连接层的权值按照采样率f被填充为一个音频，其中f为大于0的正整数。12.根据权利要求1-11任一所述的方法，其特征在于，将神经网络的权值转化为音频格式时，包括步骤：设神经网络的LSTM层的权值由m个全连接层权值组成，m为大于0的正整数，其中第i个全连接层权值为(Nin_i，Nout_i)，i是小于m的正整数，Nin_i表示第i个全连接层权值输入神经元个数，Nout_i表示第i个全连接层权值输出神经元个数；将LSTM的第i个全连接层权值按照采样率f填充为一个音频，其中f为大于0的正整数；将LSTM层总共映射为m个不同的音频。13.根据权利要求1-12任一所述的方法，其特征在于，将格式转化后的代表神经网络权值的图像、视频和/或音频进行压缩之后还包括：采用重训练的方式调整神经网络的权值。14.一种数据处理装置，其中包括：格式转化单元：用于将神经网络的权值转化为图像、视频和/或音频格式；压缩单元：用于将格式转化后的代表神经网络权值的图像、视频和/或音频进行压缩。15.根据权利要求14所述的数据处理装置，其特征在于，所述格式转化单元包括图像转化单元：用于将神经网络的全连接层、卷积层和/或LSTM层的权值转化为图像格式。16.根据权利要求15所述的数据处理装置，其特征在于，所述图像转化单元包括图像全连接层转化子...
【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。