一种利用分块循环矩阵的神经网络压缩方法技术

本发明专利技术公开了一种利用分块循环矩阵的神经网络压缩方法，涉及神经网络压缩方法领域，通过读取神经网络中最长基础随机符号向量，在神经网络的每层生成与该层输入维度相等的符号向量并与输入向量元素相乘得到新的输入向量，并训练构成新的块循环网络，存储最长基础随机符号向量和神经网络模型参数；采用细粒度的神经网络压缩方法对模型进行剪枝，进一步降低模型复杂度。通过引入随机符号向量，减少投影向量之间的相关性，从而保证模型的收敛，达到有效减少存储和带宽的目的。同时，避免了处理分块循环矩阵压缩神经网络时，由于分块大小增大而引起的性能下降的问题。

A neural network compression method using block circulant matrix

【技术实现步骤摘要】
一种利用分块循环矩阵的神经网络压缩方法
本专利技术涉及神经网络压缩方法领域，具体涉及一种利用分块循环矩阵的神经网络压缩方法。
技术介绍
近年来，深度神经网络取得了巨大的进展，很多算法都可以在图形处理器(Graphprocessingunit,GPU)上进行实时计算，并在计算机视觉、自然语言处理等领域取得了巨大的成功。如何在不明显影响循环神经网络性能的前提下，对循环神经网络进行压缩，降低其参数量和复杂度，成了学术界和工业界的研究热点。中国专利技术专利(公开号：CN109389221A)公开了一种基于模型计算的神经网络压缩方法，该方案基于剪枝方法和权重量化方法，对神经网络模型剪枝，能够减少模型的连接数，即减少模型的参数数量。对神经网络模型进行量化，能够降低模型内部权重占用的存储空间，提升模型计算速度。中国专利技术专利(公开号：CN109190759A)公开了一种基于{-1，+1}分解的神经网络压缩与加速方法，该方法有对神经网络参数与激活值进行重新{-1,1}编码，降低模型参数的储存空间，实现模型计算加速的优点。<br>中国专利技术专本文档来自技高网...

【技术保护点】
1.一种利用分块循环矩阵的神经网络压缩方法，其特征在于：包括以下步骤：/n步骤1：通过读取神经网络中最长基础随机符号向量，在神经网络的每层截取该层所需长度的基础符号向量，扩展该层的基础符号向量至输入向量维度，根据符号向量的位置对输入向量做符号翻转，使符号向量与输入向量元素相乘得到新的输入向量；/n步骤2：训练构成的新的块循环网络，存储最长基础随机符号向量和神经网络模型参数；/n步骤3：根据输入特征图的稀疏度和信息丰富度，决定输入特征图的重要性。根据特征图的重要性去减少特征图上进行卷积的卷积核个数，对网络结构进行精简；/n步骤4：采用细粒度算法对神经网络模型进行剪枝。/n

【技术特征摘要】
1.一种利用分块循环矩阵的神经网络压缩方法，其特征在于：包括以下步骤：
步骤1：通过读取神经网络中最长基础随机符号向量，在神经网络的每层截取该层所需长度的基础符号向量，扩展该层的基础符号向量至输入向量维度，根据符号向量的位置对输入向量做符号翻转，使符号向量与输入向量元素相乘得到新的输入向量；
步骤2：训练构成的新的块循环网络，存储最长基础随机符号向量和神经网络模型参数；
步骤3：根据输入特征图的稀疏度和信息丰富度，决定输入特征图的重要性。根据特征图的重要性去减少特征图上进行卷积的卷积核个数，对网络结构进行精简；
步骤4：采用细粒度算法对神经网络模型进行剪枝。


2.根据权利要求1所述的一种利用分块循环矩阵的神经网络压缩方法，其特征在于：
步骤1中所述的最长基础随机符号向量根据所有层输入特征向量的维度和分块大小确定。


3.根据权利要求1所述的一种利用分块循环矩阵的神经网络压缩方法，其特征在于：
步骤1中所述的符号向量生成步骤如下：
A：生成长度为n_sign的基础随机符号向量，其中n_sign的取值范围为区间[blocksize,n_x]。其中，基础随机符号向量的生成...

【专利技术属性】
技术研发人员：杨宇钢，胡凌燕，
申请(专利权)人：南昌大学，
类型：发明
国别省市：江西;36