用于剪枝神经网络的方法及装置制造方法及图纸

使用一种逐块重要性估计方法，以便准确估计块对目标的贡献。神经网络的层首先被分组为虚拟块，块大小由计算要求决定。每个块的最后一层连接到包括缩放层的第二层组。所述缩放层是与上一个特征图相乘的可训练标量。所有块的缩放输出将被求和并进行转发或预测。在训练期间，相对于地面真值贡献较高精度的块被分配较高的缩放因子。使用逐层解耦方法，减少每个层中的神经元之间的依赖关系。基于所述虚拟块的确定的重要性度量和所述层中神经元的多样性，从所述层中剪枝神经元。从所述层中剪枝神经元。从所述层中剪枝神经元。

【技术实现步骤摘要】
【国外来华专利技术】用于剪枝神经网络的方法及装置


[0001]本专利技术的方面大体上涉及神经网络，更具体地，涉及剪枝卷积神经网络。

技术介绍

[0002]深度神经网络(deep neural network，DNN)是一种强大的模型，已成功应用于图像识别、语音识别和机器翻译等各种人工智能(artificial intelligence，AI)任务。但是，深度神经网络对计算资源的要求非常高，需要大量的每秒浮点运算次数(floating point operation per second，FLOP)。模型压缩和加速在各种基于深度神经网络的AI应用中至关重要。
[0003]剪枝是一种通过压缩减小神经网络大小的方法。在预训练网络之后，对该网络进行微调以确定连接的重要性。以前的结构剪枝方法通常计算每个神经元的全局缩放因子作为重要性度量，并对重要性较低的神经元进行剪枝以保持精度。但是，有两个限制可能导致剪枝不当并损害精度。考虑到现代深度神经网络中有大量层，寻找一个全局公平的缩放因子十分困难。此外，缩放因子不能反映滤波器之间的相关性，因此剪枝重要性较低的滤波器仍然可能影响相关滤波器并损害精度。
[0004]因此，希望能够提供一种剪枝架构和方法，可以解决上述至少一些问题。

技术实现思路

[0005]所公开实施例的方面涉及一种用于深度神经网络的结构化剪枝方法。该目的通过独立权利要求的主题来实现。在从属权利要求中提供了其它有利修改。
[0006]根据第一方面，通过一种装置获得上述以及其它目的和优点。在一个实施例中，所述装置包括处理器，所述处理器用于：将卷积神经网络的层分组为一个或多个虚拟块，其中，所述一个或多个虚拟块中的每个虚拟块包括至少一个层；确定所述一个或多个虚拟块中的虚拟块的重要性度量；对所述虚拟块的层中的神经元应用多样性正则化，以减少所述层中神经元之间的依赖关系；基于所述虚拟块的所述确定的重要性度量和所述层中神经元的多样性，从所述层中剪枝神经元。所公开实施例的方面提供了基于块对目标精度的贡献的逐块重要性度量和神经元解耦过程，以减少来自同一层的神经元之间的依赖关系，而不管它们的重要性如何。
[0007]根据第一方面，在所述装置的第一种可能的实现方式中，每个虚拟块的最后一个卷积层连接到第二层组中的相应层，其中，所述第二层组包括平均池化层、全连接层和缩放层。缩放因子是与上一个特征图相乘的可训练标量，并支持基于块对目标精度的贡献确定逐块重要性度量。
[0008]在所述装置的一种可能的实现方式中，所述处理器还用于通过以下操作确定所述一个或多个虚拟块的所述重要性度量：将与所述一个或多个虚拟块中的每个虚拟块相关联的所述缩放层的输出求和；将所述求和后的输出转发给预测层，用于训练期间的精度预测；为在训练期间贡献较高精度的虚拟块分配较高缩放因子，并为在训练期间贡献较低精度的
虚拟块分配较低缩放因子。神经元的重要性是在块级别测量的，而不是必须找到全局重要性度量，这使得能够实现无偏估计。
[0009]在所述装置的一种可能的实现方式中，所述多样性正则化定义为：
[0010][0011]其中，L是层数，W是每层L的权重矩阵，I是识别矩阵，||
·
||
F
是Frobenius范数。在训练期间，矩阵W中列矢量和行矢量的正交性被强制实施，这旨在涵盖过完备和欠完备W情况。同一层中神经元之间的依赖关系减少，神经元的重要性在块级别测量，而不必找到全局重要性度量，从而实现无偏估计。
[0012]在所述装置的一种可能的实现方式中，所述处理器用于通过以下操作，基于所述虚拟块的所述确定的重要性度量和所述层中神经元的多样性从所述层中剪枝神经元：从所述一个或多个虚拟块中选择所述虚拟块；从所述选择的虚拟块中选择所述层；计算所述选择层的两个神经元的权重矢量之间的相关值D；将所述相关值D按升序排序；基于所述相关值D从所述选择层中剪枝神经元。剪枝神经元是基于逐块重要性和神经元之间的相关性随机进行的。同一层中神经元之间的依赖关系减少，神经元的重要性在块级别测量，而不必找到全局重要性度量，从而实现无偏估计。
[0013]在所述装置的一种可能的实现方式中，所述虚拟块是从所述一个或多个虚拟块中随机选择的。剪枝神经元是基于逐块重要性和神经元之间的相关性随机进行的。通过以随机方式而不是确定性方式基于神经元的多样性剪枝神经元，减少了神经元的错误剪枝。
[0014]根据第二方面，通过一种方法获得上述以及其它目的和优点。在一个实施例中，所述方法包括：将卷积神经网络的层分组为一个或多个虚拟块，其中，所述一个或多个虚拟块中的每个虚拟块包括至少一个层；确定所述一个或多个虚拟块中的虚拟块的重要性度量；对所述虚拟块的层中的神经元应用多样性正则化，以减少所述层中神经元之间的依赖关系；基于所述虚拟块的所述确定的重要性度量和所述层中神经元的多样性，从所述层中剪枝神经元。
[0015]在所述方法的一种可能的实现方式中，确定所述一个或多个虚拟块的所述重要性度量包括：将与所述一个或多个虚拟块中的每个虚拟块相关联的缩放层的输出求和；将所述求和后的输出转发给预测层，用于训练期间的精度预测；为在训练期间贡献较高精度的虚拟块分配较高缩放因子，并为在训练期间贡献较低精度的虚拟块分配较低缩放因子。这使得能够基于块对目标精度的贡献来确定逐块重要性度量。
[0016]在所述方法的一种可能的实现方式中，所述多样性正则化定义为：
[0017][0018]其中，L是层数，W是每层L的权重矩阵，I是识别矩阵，||
·
||
F
是Frobenius范数。在训练期间，矩阵W中列矢量和行矢量的正交性被强制实施，这旨在涵盖过完备和欠完备W情况。在训练期间，矩阵W中列矢量和行矢量的正交性被强制实施，这旨在涵盖过完备和欠完备W情况。同一层中神经元之间的依赖关系减少，神经元的重要性在块级别测量，而不必找到全局重要性度量，从而实现无偏估计。
[0019]在所述方法的一种可能的实现方式中，基于所述虚拟块的所述确定的重要性度量和所述层中神经元的多样性，从所述层中剪枝神经元还包括：从所述一个或多个虚拟块中选择所述虚拟块；从所述选择的虚拟块中选择所述层；计算所述选择层的两个神经元的权重矢量之间的相关值D；将所述相关值D按升序排序；基于所述相关值D从所述选择层中剪枝神经元。同一层中神经元之间的依赖关系减少，神经元的重要性在块级别测量，而不必找到全局重要性度量，从而实现无偏估计。
[0020]在所述方法的一种可能的实现方式中，所述方法包括从所述一个或多个虚拟块中随机选择所述虚拟块。剪枝神经元是基于逐块重要性和神经元之间的相关性随机进行的。通过以随机方式而不是确定性方式基于神经元的多样性剪枝神经元，减少了神经元的错误剪枝。
[0021]示例性实施例的这些和其它方面、实现方式和优点将从结合附图考虑的本文描述的实施例中变得显而易见。但应理解，此类描述和附图仅用于说明的目的，而不能作为对所公开专利技术的限制；对本专利技术的任何限本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置(100)，其特征在于，包括处理器(102)，所述处理器(102)用于：将卷积神经网络的层分组为一个或多个虚拟块，其中，所述一个或多个虚拟块中的每个虚拟块包括至少一个层；确定所述一个或多个虚拟块中的虚拟块的重要性度量；对所述虚拟块的层中的神经元应用多样性正则化，以减少所述层中神经元之间的依赖关系；基于所述虚拟块的所述确定的重要性度量和所述层中神经元的多样性，从所述层中剪枝神经元。2.根据权利要求1所述的装置(100)，其特征在于，每个虚拟块的最后一个卷积层连接到第二层组中的相应层，其中，所述第二层组包括平均池化层、全连接层和缩放层。3.根据权利要求1或2所述的装置(100)，其特征在于，所述处理器(102)还用于通过以下操作确定所述一个或多个虚拟块的所述重要性度量：将与所述一个或多个虚拟块中的每个虚拟块相关联的所述缩放层的输出求和；将所述求和后的输出转发给预测层，用于训练期间的精度预测；为在训练期间贡献较高精度的虚拟块分配较高缩放因子，并为在训练期间贡献较低精度的虚拟块分配较低缩放因子。4.根据上述权利要求中任一项所述的装置(100)，其特征在于，所述多样性正则化定义为：其中，L是层数，W是每层L的权重矩阵，I是识别矩阵，||
·
||F是Frobenius范数。5.根据上述权利要求中任一项所述的装置(100)，其特征在于，处理器(102)用于通过以下操作，基于所述虚拟块的所述确定的重要性度量和所述层中神经元的多样性从所述层中剪枝神经元：从所述一个或多个虚拟块中选择所述虚拟块；从所述选择的虚拟块中选择所述层；计算所述选择层的两个神经元的权重矢量之间的相关值D；将所述相关值D按升序排序；基于所述相关值D从所述选择层中剪枝神经元。6.根据权利要求5所述的装置(100)，其特征在于，所述虚拟块是...

【专利技术属性】
技术研发人员：王廷槐，宽，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：