用于剪枝的方法和设备技术

公开用于剪枝的方法和设备。所述方法由包括处理器的设备执行，所述方法包括：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。掩码。掩码。

【技术实现步骤摘要】
用于剪枝的方法和设备
[0001]本申请要求于2022年2月16日提交到韩国知识产权局的第10
‑
2022
‑
0020308号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及具有剪枝的方法和装置。

技术介绍

[0003]人工神经网络设备通常需要大量的处理能力以能够处理复杂的输入数据(在下文中，“神经网络”表示人工神经网络)。增加神经网络的学习能力可涉及增加神经网络内的连接性(connectivity)的复杂性。虽然旧的学习数据的准确性可增加，但是新学习的数据的估计值的置信度可降低。也就是说，可发生过拟合问题。此外，增加神经网络的复杂性可过度增加神经网络的存储器分配，这造成小型化和商业化方面的问题。
[0004]因此，存在对在减少实现神经网络的成本的同时总体维持神经网络的性能的需要。

技术实现思路

[0005]提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或必要特征，也不意在用作帮助确定要求保护的主题的范围。
[0006]在一个总体方面，一种由包括处理器的设备执行的方法，包括：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。
[0007]确定剪枝掩码的步骤可包括：确定针对剪枝的输入通道的剪枝二进制向量；以及确定针对所述剪枝的输出通道的空间剪枝二进制向量。
[0008]剪枝神经网络的步骤可包括：基于确定的针对所述剪枝的输入通道的剪枝二进制向量来剪枝输入通道的权重；以及基于确定的输出通道的空间剪枝二进制向量来剪枝输出通道的空间维度上的权重。
[0009]确定权重重要性的步骤可包括：将权重重要性表示为针对所述剪枝的输入通道的剪枝二进制向量或针对所述剪枝的输出通道的空间剪枝二进制向量中的至少一个，并且接收约束条件的步骤可包括：将约束条件表示为输入通道的剪枝二进制向量或输出通道的空间剪枝二进制向量中的至少一个。
[0010]确定剪枝掩码的步骤可包括：根据约束条件，将用于使神经网络的权重重要性最大化的优化式表示为输入通道的剪枝二进制向量和输出通道的空间剪枝二进制向量中的至少一个。
[0011]确定剪枝掩码的步骤可包括：基于二进制向量优化算法来确定与优化式对应的剪枝掩码。
[0012]确定权重重要性的步骤可包括：基于神经网络的权重的绝对值和/或误差的梯度的绝对值来确定权重重要性。
[0013]与操作资源相关的约束条件可以是用于执行神经网络的推断的硬件资源的硬件性能约束。
[0014]与操作资源相关的约束条件可基于以下项中的至少一个被确定：能够用于执行神经网络的推断的存储器的可用容量、用于执行神经网络的推断的硬件资源的每秒浮点运算、以及使用用于执行神经网络的推断的硬件资源的时间限制。
[0015]所述方法还可包括：基于剪枝掩码来剪枝训练后的神经网络；接收输入图像；以及使用接收的输入图像基于剪枝后的神经网络来生成推断结果。
[0016]在一个总体方面，一种电子设备包括：处理器；以及存储器，存储能够由处理器执行的指令，其中，处理器被配置为，响应于执行所述指令：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。
[0017]处理器还可被配置为：确定输入通道的剪枝二进制向量；以及确定输出通道的空间剪枝二进制向量。
[0018]处理器还可被配置为：基于剪枝掩码来剪枝神经网络。
[0019]处理器可被配置为：基于剪枝后的神经网络来执行推断。
[0020]处理器还可被配置为：控制所述电子设备以基于确定的输入通道的剪枝二进制向量来剪枝输入通道的权重；以及基于确定的输出通道的空间剪枝二进制向量来剪枝输出通道的空间维度上的权重。
[0021]处理器可被配置为：将权重重要性表示为输入通道的剪枝二进制向量或输出通道的空间剪枝二进制向量中的至少一个；以及将约束条件表示为输入通道的剪枝二进制向量或输出通道的空间剪枝二进制向量中的至少一个。
[0022]处理器还可被配置为：根据约束条件，将用于使神经网络的权重重要性最大化的优化式表示为输入通道的剪枝二进制向量或输出通道的空间剪枝二进制向量中的至少一个。
[0023]处理器还可被配置为：基于二进制向量优化算法来确定与优化式对应的剪枝掩码。
[0024]处理器还可被配置为：基于神经网络的权重的绝对值和/或误差的绝对值梯度来确定权重重要性。
[0025]权重重要性可包括：与训练后的神经网络中的一个或多个权重对应的值，并且其中，所述值可对应于所述一个或多个权重对训练后的神经网络的准确性的影响。
[0026]与操作资源相关的约束条件可以是用于执行神经网络的推断的硬件资源的硬件性能约束。
[0027]与操作资源相关的约束条件可基于以下项中的至少一个被确定：能够用于执行神经网络的推断的存储器的可用容量、用于执行神经网络的推断的硬件资源的每秒浮点运算、以及使用用于执行神经网络的推断的硬件资源的时间限制。
[0028]处理器还可被配置为：基于剪枝掩码来剪枝训练后的神经网络；接收输入图像；以及使用接收的输入图像基于剪枝后的神经网络来生成推断结果。
[0029]在一个总体方面，一种方法由处理器执行，并且所述方法包括：接收约束条件，约束条件指示当对应的训练后的神经网络执行推断时将被遵守的约束；基于约束条件和训练后的神经网络，以神经网络的权重特征为基础来确定满足训练后的神经网络的约束条件的剪枝掩码；以及使用剪枝掩码来剪枝训练后的神经网络的输出通道的权重。
[0030]剪枝掩码可基于输入剪枝向量和输出剪枝向量被确定，输入剪枝向量对应于神经网络的层的针对所述剪枝的输入通道，输出剪枝向量对应于神经网络的层的输出通道。
[0031]权重特征可基于训练后的神经网络的一个或多个权重。
[0032]权重特征可对应于权重对训练后的神经网络的预测准确性的影响。
[0033]神经网络可包括卷积神经网络，其中，层可包括卷积神经网络的卷积层。
[0034]确定剪枝掩码的步骤可包括：执行由约束条件和权重条件约束的优化算法。
[0035]与操作资源相关的约束条件可以是用于执行神经网络的推断的硬件资源的硬件性能约束。
[0036]与操作资源相关的约束条件可基于以下项中的至少一个被确定：能够用于执行神经网络的推断的存储器的可用容量、用于执行神经网络的推断的硬件资源的每秒浮点运算、以及使用用于执行神经网络的推断的硬件资源的时间限制。
[0037]所述方法还可包括：基于剪枝掩码来剪枝训练后的神经网络；接收输入图像；以及使用接收的输入图像基于剪枝后的神经网络来生成推断结果。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由包括处理器的设备执行的方法，所述方法包括：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。2.根据权利要求1所述的方法，其中，确定剪枝掩码的步骤包括：确定针对剪枝的输入通道的剪枝二进制向量；以及确定针对所述剪枝的输出通道的空间剪枝二进制向量。3.根据权利要求1所述的方法，还包括：基于剪枝掩码来剪枝训练后的神经网络。4.根据权利要求3所述的方法，还包括：基于剪枝后的神经网络来生成推断结果。5.根据权利要求3所述的方法，其中，剪枝训练后的神经网络的步骤包括：基于确定的针对所述剪枝的输入通道的剪枝二进制向量来剪枝输入通道的权重；以及基于确定的输出通道的空间剪枝二进制向量来剪枝输出通道的空间维度上的权重。6.根据权利要求1至5中的任何一项所述的方法，其中，确定权重重要性的步骤包括：将权重重要性表示为针对剪枝的输入通道的剪枝二进制向量和针对所述剪枝的输出通道的空间剪枝二进制向量中的至少一个，并且接收约束条件的步骤包括：将约束条件表示为输入通道的剪枝二进制向量和输出通道的空间剪枝二进制向量中的至少一个。7.根据权利要求6所述的方法，其中，确定剪枝掩码的步骤包括：根据约束条件，将用于使训练后的神经网络的权重重要性最大化的优化式表示为输入通道的剪枝二进制向量和输出通道的空间剪枝二进制向量中的至少一个。8.根据权利要求7所述的方法，其中，确定剪枝掩码的步骤包括：基于二进制向量优化算法来确定与优化式对应的剪枝掩码。9.根据权利要求1至5中的任何一项所述的方法，其中，确定权重重要性的步骤包括：基于神经网络的权重的绝对值和/或误差的梯度的绝对值来确定权重重要性。10.根据权利要求1至5中的任何一项所述的方法，其中，与操作资源相关的约束条件是用于执行神经网络的推断的硬件资源的硬件性能约束。11.根据权利要求1至5中的任何一项所述的方法，其中，与操作资源相关的约束条件基于以下项中的至少一个被确定：能够用于执行神经网络的推断的存储器的可用容量、用于执行神经网络的推断的硬件资源的每秒浮点运算、以及使用用于执行神经网络的推断的硬件资源的时间限制。12.根据权利要求1至5中的任何一项所述的方法，还包括：基于剪枝掩码来剪枝训练后的神经网络；接收输入图像；以及使用接收的输入图像基于剪枝后的神经网络来生成推断结果。13.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使处
理器执行根据权利要求1至12中的任何一项所述的方法。14.一种电子设备，包括：处理器；以及存储器，存储能够由处理器执行的指令，其中，处理器被配置为，响应于执行所述指令：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于最大化训练后的神经网络的权重重要性的剪枝掩码。15.根据权利要求14所述的电子设备，其中，处理器还被配置为：确定输入通道的剪枝二进制向量；以及确定输出通道的空间剪枝二进制向量。16.根据权利要求14所述的电子设备，其中，处理器还被配置为：基于剪枝掩码来剪枝训练后的神经网络。17.根据权利要求16所述的电子设备，其中，处理器被配置为：基于剪枝后的神经网络来执行推断。18.根据权利要求16所述的电子设备，其中，处理器还被配置为：基于确定的输入通道的剪枝二进制向量来剪枝输入通道的权...

【专利技术属性】
技术研发人员：金钟锡，郑然宇，宋炫旿，孙昌用，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：