【技术实现步骤摘要】
一种用于神经网络的基于混合粒度的联合稀疏方法
[0001]本专利技术涉及结构化稀疏、轻量化网络结构、卷积神经网络等工程
，特别涉及一种用于神经网络的基于混合粒度的联合稀疏方法。
技术介绍
[0002]近年来深度学习，尤其是卷积神经网络（CNN），以计算机视觉，语音识别和语言处理领域的高准确性取得了巨大的成功。由于数据量的增长，深度神经网络规模变得越来越大，以具有通用的特征提取能力。另一方面，随着深度神经网络的过参数化，大型模型通常在训练和推理过程中需要大量的计算和存储资源。面对这些挑战，人们越来越关注以最小化计算成本压缩和加速神经网络的技术，例如张量分解，数据量化和网络稀疏化。
[0003]在稀疏化中，对于不同的修剪数据对象，其稀疏模式可以分为细粒度和粗粒度的稀疏模式，其目的是消除不重要的元素或连接。细粒度的稀疏模式更有可能保留更高的模型准确性。然而，由于计算复杂性，在实践中很难直接衡量权重元素在神经网络中的重要性。因此，细粒度的权重修剪方法通常基于幅度标准，但这经常会导致权重结构的随机重塑，而通用加速器（如G...
【技术保护点】
【技术特征摘要】
1.一种用于神经网络的基于混合粒度的联合稀疏方法，其特征在于，该方法用于图像识别，首先采集若干图像数据并人为加注标签，生成图像数据集，将图像数据集作为训练集输入卷积神经网络，随机初始化卷积神经网络各层的权重矩阵，用迭代的方式训练并采用联合稀疏过程，对卷积神经网络进行剪枝；所述联合稀疏过程具体为通过用户事先设定目标稀疏度和粒度混合比例，获得不同剪枝粒度的剪枝蒙版；包括独立的向量级细粒度稀疏化和块级粗粒度稀疏化，向量级细粒度稀疏化和块级粗粒度稀疏化各自的稀疏度根据用户事先设定目标稀疏度和粒度混合比例通过稀疏度补偿方法估计得到；所述向量级细粒度稀疏化将行数为#row，列数为#col的权重矩阵，在矩阵边缘填充零列，使得补零后的最小矩阵列数正好被K整除，分为若干个行数为1，列数为K的向量行，并对于每个向量行，将向量行内元素进行基于幅度的剪枝，在剪枝蒙版Ⅰ上将相应元素位置的1置为0，使得剪枝蒙版Ⅰ上0的个数满足向量级细粒度稀疏化的稀疏度要求；所述块级粗粒度稀疏化将行数为#row，列数为#col的矩阵，在矩阵边缘填充零行和/或零列，使得补零后的最小矩阵正好被R行、S列大小的块整除，分为若干个行数为R，列数为S的向量块，计算每个不包含填充零行或零列的向量块的重要性得分和；参与计算重要性得分和的所有向量块，按照重要性得分和大小进行基于幅度的剪枝，将剪枝蒙版Ⅱ上参与计算重要性得分和的向量块相应元素位置的1置为0，使得剪枝蒙版Ⅱ上0的个数满足块级粗粒度稀疏化的稀疏度要求；将向量级细粒度稀疏化得到的剪枝蒙...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。