模型压缩方法及装置、计算机可读介质和电子设备制造方法及图纸

本公开提供一种模型压缩方法及装置、计算机可读介质和电子设备，涉及人工智能技术领域。该方法包括：获取预训练的初始神经网络模型；对所述初始神经网络模型进行深度剪枝处理，得到深度剪枝后的初始神经网络模型；对所述深度剪枝后的初始神经网络模型进行宽度剪枝处理，得到宽度剪枝后的初始神经网络模型；将满足预设模型压缩参数的所述宽度剪枝后的初始神经网络模型，确定为目标神经网络模型。本公开能够有效对初始神经网络模型中的冗余结构进行压缩，可以在保证目标神经网络模型的性能和精度的同时，有效减小目标神经网络模型的模型体积，进而提高目标神经网络模型的适用场景。场景。场景。

【技术实现步骤摘要】
模型压缩方法及装置、计算机可读介质和电子设备


[0001]本公开涉及人工智能
，具体涉及一种模型压缩方法、模型压缩装置、计算机可读介质和电子设备。

技术介绍

[0002]伴随着科学技术水平的不断提高，深度学习(Deep Learning，DL)技术得到迅速发展。深度学习的目标是学习样本数据的内在规律和表示层次，深度学习的实现一般依赖各种类型的神经网络结构，而随着任务复杂度的提升以及数据量的增大，深度学习模型中的神经网络结构也越来越复杂，通常存在较多的冗余网络，如何对深度学习模型中的冗余网络进行优化是如今面临的巨大难题。
[0003]目前，神经网络优化主要采用通道剪枝的方案，但是该方式对于神经网络模型的压缩力度有限，得到的神经网络模型仍存在冗余网络，同时也不能有效保证剪枝后的神经网络的性能和精度。

技术实现思路

[0004]本公开的目的在于提供一种模型压缩方法、模型压缩装置、计算机可读介质和电子设备，进而上在保证目标神经网络模型的性能和精度的同时，有效减小目标神经网络模型的模型体积。
[0005]根据本公开的第一方面，提供一种模型压缩方法，包括：
[0006]获取预训练的初始神经网络模型；
[0007]对所述初始神经网络模型进行深度剪枝处理，得到深度剪枝后的初始神经网络模型；
[0008]对所述深度剪枝后的初始神经网络模型进行宽度剪枝处理，得到宽度剪枝后的初始神经网络模型；
[0009]将满足预设模型压缩参数的所述宽度剪枝后的初始神经网络模型，确定为目标神经网络模型。
[0010]根据本公开的第二方面，提供一种模型压缩装置，包括：
[0011]模型获取模块，用于获取预训练的初始神经网络模型；
[0012]深度剪枝模块，用于对所述初始神经网络模型进行深度剪枝处理，得到深度剪枝后的初始神经网络模型；
[0013]宽度剪枝模块，用于对所述深度剪枝后的初始神经网络模型进行宽度剪枝处理，得到宽度剪枝后的初始神经网络模型；
[0014]模型输出模块，用于将满足预设模型压缩参数的所述宽度剪枝后的初始神经网络模型，确定为目标神经网络模型。
[0015]根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
[0016]根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
[0017]处理器；以及
[0018]存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
[0019]本公开的一种实施例所提供的模型压缩方法，可以获取预训练的初始神经网络模型，可以对初始神经网络模型进行深度剪枝处理，得到深度剪枝后的初始神经网络模型，进而可以对深度剪枝后的初始神经网络模型进行宽度剪枝处理，得到宽度剪枝后的初始神经网络模型，最后将满足预设模型压缩参数的宽度剪枝后的初始神经网络模型，确定为目标神经网络模型。一方面，通过先对初始神经网络模型进行深度剪枝处理，再对初始神经网络模型进行宽度剪枝处理，能够实现神经网络模型从粗粒度到细粒度的压缩，提升对于初始神经网络模型的压缩力度，有效减小目标神经网络模型的模型体积；另一方面，从粗粒度到细粒度的逐步压缩，可以在压缩过程中较好的控制神经网络模型的性能和精度，并且通过预设模型压缩参数对剪枝后的神经网络模型进行进一步验证，进一步提升输出的目标神经网络模型的性能和精度。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0022]图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
[0023]图2示意性示出本公开示例性实施例中一种模型压缩方法的流程示意图；
[0024]图3示意性示出本公开示例性实施例中一种实现深度剪枝处理的流程示意图；
[0025]图4示意性示出本公开示例性实施例中一种通过神经网络结构搜索确定最优子网络的流程示意图；
[0026]图5示意性示出本公开示例性实施例中一种实现宽度剪枝处理的流程示意图；
[0027]图6示意性示出本公开示例性实施例中一种对搜索得到的最优子网络进行权重通道剪枝的流程示意图；
[0028]图7示意性示出本公开示例性实施例中模型压缩装置的组成示意图；
[0029]图8示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
[0030]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0031]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标
记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0032]图1示出了可以应用本公开实施例的一种模型压缩方法及装置的示例性应用环境的系统架构的示意图。
[0033]如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有人工智能计算能力的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
[0034]本公开实施例所提供的模型压缩方法一般由服务器105中执行，相应地，模型压缩装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的模型压缩方法也可以由终端设备101、102、103执行，相应的，模型压缩装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
[0035]在一种技术方案中，提供了联合层剪枝和通道剪枝的模型剪枝方法，即步骤1、稀疏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型压缩方法，其特征在于，包括：获取预训练的初始神经网络模型；对所述初始神经网络模型进行深度剪枝处理，得到深度剪枝后的初始神经网络模型；对所述深度剪枝后的初始神经网络模型进行宽度剪枝处理，得到宽度剪枝后的初始神经网络模型；将满足预设模型压缩参数的所述宽度剪枝后的初始神经网络模型，确定为目标神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述预设模型压缩参数包括模型执行效率阈值和输出结果准确率阈值；所述将满足预设压缩参数的所述宽度剪枝后的初始神经网络模型，确定为目标神经网络模型，包括：对所述宽度剪枝后的初始神经网络模型进行验证操作，确定所述宽度剪枝后的初始神经网络模型的模型执行效率以及输出结果准确率；若所述模型执行效率大于或者等于所述模型执行效率阈值，且所述输出结果准确性大于或者等于输出结果准确率阈值，则将所述宽度剪枝后的初始神经网络模型，确定为目标神经网络模型。3.根据权利要求1所述的方法，其特征在于，所述对所述初始神经网络模型进行深度剪枝处理，得到深度剪枝后的初始神经网络模型，包括：基于所述初始神经网络模型中卷积层的可用性，构建神经网络模型搜索空间，所述神经网络模型搜索空间包括2
N
个子网络，其中N为所述卷积层的数量；对所述神经网络模型搜索空间中的所述子网络进行随机采样和网络训练，得到训练好的子网络模型；基于进化搜索的方式和所述预设模型压缩参数，对所述子网络模型中的子网络进行搜索，确定目标子网络，并将所述目标子网络作为所述深度剪枝后的初始神经网络模型。4.根据权利要求3所述的方法，其特征在于，所述对所述神经网络模型搜索空间中的子网络进行随机采样和网络训练，得到训练好的子网络模型，包括：确定所述神经网络模型搜索空间中各子网络的计算量；对所述计算量大于或者等于预设计算量阈值的子网络进行随机采样和网络训练，得到训练...

【专利技术属性】
技术研发人员：樊欢欢，
申请(专利权)人：西安欧珀通信科技有限公司，
类型：发明
国别省市：