神经网络模型分块压缩方法、训练方法、计算装置及系统制造方法及图纸

一种用于神经网络的网络模型分块压缩方法，包括：权重矩阵获得步骤，获得经过训练得到的神经网络的网络模型的权重矩阵；权重矩阵分块步骤，按照预定阵列大小将权重矩阵划分成由若干初始子块组成的阵列；待裁剪权值元素集中步骤，根据子块中的矩阵元素的权值绝对值和值，通过行列交换，将权值较小的矩阵元素集中到待裁剪子块中，使得该待裁剪子块中的矩阵元素的权值绝对值和值相对于不是待裁剪子块的其他子块中的矩阵元素的权值绝对值和值更小；子块裁剪步骤，将上述待裁剪子块中的矩阵元素的权值裁剪掉，获得最终的权重矩阵，以实现对神经网络的网络模型的压缩。实现能够节省资源开销，在有限资源的条件下布置规模巨大的神经网络。

Neural Network Model Block Compression Method, Training Method, Computing Device and System

A block compression method for neural network model is presented, which includes: the steps of obtaining weighting matrix to obtain the weighting matrix of the trained neural network model; the steps of dividing weighting matrix into arrays composed of several initial sub-blocks according to the predetermined size of the array; the steps of collecting weighting elements to be trimmed, and the matrix elements in the sub-blocks according to the matrix elements in the sub-blocks. The absolute values and values of the weights of the matrix elements in the block to be clipped are concentrated into the block to be clipped by row-column exchange, so that the absolute values and values of the weights of the matrix elements in the block to be clipped are smaller than the absolute values and values of the matrix elements in other sub-blocks that are not the blocks to be clipped; the clipping step of the sub-block is to clip the weights of the matrix elements in the block to be clipped. In order to compress the network model of the neural network, the final weight matrix is obtained. It can save resources and deploy large-scale neural networks with limited resources.

【技术实现步骤摘要】
【国外来华专利技术】神经网络模型分块压缩方法、训练方法、计算装置及系统
本专利技术总体地涉及神经网络
，更具体地涉及用于神经网络的网络模型分块压缩方法、训练方法、计算装置以及硬件系统。
技术介绍
随着摩尔定律逐渐失效，传统芯片工艺进步放缓，人们不得不面向新应用和新器件。近年来，神经网络(NeuralNetwork，NN)计算取得了突破性进展，在图像识别、语言识别、自然语言处理等诸多领域均取得了很高的准确率，但神经网络需要海量计算资源，传统的通用处理器已经很难满足深度学习的计算需求，设计专用芯片已经成为了一个重要的发展方向。具体地，神经网络的建模通常以若干神经元为一层，层与层之间相互连接来构建，图1所示的是一种链状的神经网络，图中每一个圆表示一个神经元，每一个箭头表示神经元之间的连接，每个连接均有权重，实际神经网络的结构不限于链状的网络结构。神经网络的核心计算是矩阵向量乘操作，包含n个神经元的层Ln产生的输出可以用长度为n的向量Vn表示，与包含m个神经元的层Lm全相联，连接权重可以表示成矩阵Mn×m，矩阵大小为n行m列，每个矩阵元素表示一个连接的权重。则加权之后输入到Lm的向量为Mn×mVn，这样的本文档来自技高网...

【技术保护点】
1.一种用于神经网络的网络模型分块压缩方法，包括：权重矩阵获得步骤，获得经过训练得到的神经网络的网络模型的权重矩阵；权重矩阵分块步骤，按照预定阵列大小将权重矩阵划分成由若干初始子块组成的阵列；待裁剪权值元素集中步骤，根据子块中的矩阵元素的权值绝对值和值，通过行列交换，将权值较小的矩阵元素集中到待裁剪子块中，使得该待裁剪子块中的矩阵元素的权值绝对值和值相对于不是待裁剪子块的其他子块中的矩阵元素的权值绝对值和值更小；和子块裁剪步骤，将上述待裁剪子块中的矩阵元素的权值裁剪掉，获得最终的权重矩阵，以实现对神经网络的网络模型的压缩。

【技术特征摘要】
【国外来华专利技术】1.一种用于神经网络的网络模型分块压缩方法，包括：权重矩阵获得步骤，获得经过训练得到的神经网络的网络模型的权重矩阵；权重矩阵分块步骤，按照预定阵列大小将权重矩阵划分成由若干初始子块组成的阵列；待裁剪权值元素集中步骤，根据子块中的矩阵元素的权值绝对值和值，通过行列交换，将权值较小的矩阵元素集中到待裁剪子块中，使得该待裁剪子块中的矩阵元素的权值绝对值和值相对于不是待裁剪子块的其他子块中的矩阵元素的权值绝对值和值更小；和子块裁剪步骤，将上述待裁剪子块中的矩阵元素的权值裁剪掉，获得最终的权重矩阵，以实现对神经网络的网络模型的压缩。2.根据权利要求1所述的网络模型分块压缩方法，其中，根据压缩率或根据阈值来设定所述待裁剪子块的数量。3.根据权利要求1所述的网络模型分块压缩方法，其中，待裁剪权值元素集中步骤包括如下步骤：确定预裁剪子块步骤，确定作为裁剪候选的预裁剪子块；标记行列步骤，选择并标记预裁剪子块所在的所有行和所有列作为换位行和换位列，其中，根据压缩率设定所述预裁剪子块的数量；交换行步骤和交换列步骤，对每一行中的矩阵元素的权值绝对值求和，并且将和值小的行依次与所标记的换位行进行位置交换，以及，对每一列中的矩阵元素的权值绝对值求和，并且将和值小的列依次与所标记的换位列进行位置交换；重复上述步骤，直到交换也不能改变所有预裁剪子块中的矩阵元素的权值绝对值的总和，此时的预裁剪子块作为待裁剪子块。4.根据权利要求3所述的网络模型分块压缩方法，其中，确定预裁剪子块步骤还包括：计算每一个初始子块中的矩阵元素的权值绝对值的总和，将和值小的子块作为预裁剪子块。5.一种神经网络训练方法，包括如下步骤：对神经网络进行训练，得到网络模型的权重矩阵；根据权利要求1-4所述的网络模型分块压缩方法对所述权重矩阵进行压缩；和迭代进行上述步骤，直至达到预定迭代中止要求。6.一种用于神经网络计算的计算装置，包括存储器和处理器，存储器中存储有计算机可执行指令，所述计算机可执行指令包括网络模型压缩指令，当处理器执行所述网络模型压缩指令时，执行下述方法：权重矩阵获得步骤，获得经过训练得到的神经网络的网络模型的权重矩阵；权重矩阵分块步骤，按照预定阵列大小将权重矩阵划分成由若干初始子块组成的阵列；待裁剪权值元素集中步骤，根据子块中的矩阵元素的权值绝对值和值，通过行列交换，将权值较小的矩阵元素集中到待裁剪子块中，使得该待裁剪子块中的矩阵元素的权值绝对值和值相对于不是待裁剪子块的其他子块中的...

【专利技术属性】
技术研发人员：张悠慧，季宇，张优扬，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11