网络模型压缩方法、装置制造方法及图纸

本申请的实施例提供了一种网络模型压缩方法、装置。该方法包括：获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的向量距离；通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述中心滤波器提取的图像特征中包括所述非中心滤波器提取的部分图像特征；对所述非中心滤波器进行剪枝，得到由所述中心滤波器构成的压缩网络模型。本申请实施例的技术方案可以在对网络模型进行压缩的情况下保持模型的精度。

【技术实现步骤摘要】
网络模型压缩方法、装置
本申请涉及人工智能及神经网络
，具体而言，涉及一种网络模型压缩方法、装置。
技术介绍
当前用于图像识别的网络模型需要消耗大量算力、内存和电量，为了解决这一问题，现有技术一般通过Kmeans聚类来确定并去掉冗余滤波器，以此实现对网络模型的压缩。然而，现有的对网络模型进行压缩的方法会弱化模型的效果，降低模型对图像进行识别的精度。基于此，如何在对网络模型进行压缩的情况下保持模型的精度是亟待解决的技术问题。
技术实现思路
本申请的实施例提供了一种网络模型压缩方法、装置、计算机程序产品或计算机程序、计算机可读介质及电子设备，进而至少在一定程度上可以在对网络模型进行压缩的情况下保持模型的精度。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。根据本申请实施例的一个方面，提供了一种网络模型压缩方法，所述方法包括：获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的向量距离；通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述中心滤波器提取的图像特征中包括所述非中心滤波器提取的部分图像特征；对所述非中心滤波器进行剪枝，得到由所述中心滤波器构成的压缩网络模型。根据本申请实施例的一个方面，提供了一种网络模型压缩装置，所述装置包括：获取单元，被用于获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的数据进行特征提取；计算单元，被用于基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的距离；确定单元，被用于通过任意两个滤波器之间的距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述非中心滤波器提取的特征靠近所述中心滤波器提取的特征；剪枝单元，被用于对所述非中心滤波器进行剪枝，得到压缩网络模型。在本申请的一些实施例中，基于前述方案，所述确定单元配置为：针对所述至少两个滤波器中的每一个目标滤波器，对所述目标滤波器与除所述目标滤波器之外的滤波器的向量距离进行求和，得到所述目标滤波器的目标距离求和；基于所述目标距离求和，将至少一个目标滤波器确定为中心滤波器；将除所述至少一个目标滤波器之外的滤波器确定为非中心滤波器。在本申请的一些实施例中，基于前述方案，所述确定单元配置为：按照预先确定的滤波器剪枝比例，确定所述中心滤波器的保留数量；按照目标距离求和从大到小的顺序，对各个目标滤波器进行排序；将排序靠前的所述保留数量的目标滤波器确定为中心滤波器。在本申请的一些实施例中，基于前述方案，所述装置还包括：更新单元，被用于在对所述非中心滤波器进行剪枝之前，针对每一个中心滤波器，构造一个滤波器集合；针对每一个非中心滤波器，确定距离所述非中心滤波器最近的目标中心滤波器，并将所述非中心滤波器添加至所述目标中心滤波器所在的滤波器集合；更新所述网络模型中的滤波器参数，以缩小所述滤波器集合中的非中心滤波器与中心滤波器之间的向量距离。在本申请的一些实施例中，基于前述方案，所述更新单元配置为：基于图像训练数据，对所述网络模型进行迭代训练；在每一次训练过程中，分别确定各个滤波器集合的集合梯度，以通过所述集合梯度更新所述滤波器集合中滤波器的滤波器参数。在本申请的一些实施例中，基于前述方案，所述更新单元配置为：针对每一次训练过程中的每一个滤波器集合，获取所述滤波器集合中的各个滤波器的滤波器梯度；基于各个滤波器的滤波器梯度，确定滤波器梯度均值，以及所述滤波器梯度均值和各个滤波器梯度之间的向量距离；基于滤波器梯度均值，以及所述滤波器梯度均值和各个滤波器梯度之间的向量距离，确定所述滤波器集合的集合梯度。在本申请的一些实施例中，基于前述方案，所述剪枝单元包括：裁剪单元被用于裁剪所述网络模型中的非中心滤波器，得到待优化网络模型；提取单元，被用于分别通过初始网络模型和所述待优化网络模型对相同的图像数据进行特征提取，得到第一特征和第二特征，所述初始网络模型为未经过压缩处理的网络模型；计算单元，被用于计算所述第一特征和第二特征之间的差异；调整单元，被用于基于所述差异，调整所述待优化网络模型中滤波器的滤波器参数，得到所述压缩网络模型。在本申请的一些实施例中，基于前述方案，所述计算单元配置为：通过所述第一特征确定所述图像数据的第一特征向量；基于所述第二特征确定所述图像数据的第二特征向量；计算所述第一特征向量和所述第二特征向量的向量距离，以将所述向量距离确定为所述第一特征和第二特征之间的差异。在本申请的一些实施例中，基于前述方案，所述装置还包括循环压缩启动单元，被用于在基于所述差异，调整所述待优化网络模型中滤波器的滤波器参数，得到所述压缩网络模型之后，启动将所述压缩网络模型作为新的网络模型，返回执行所述获取待压缩的网络模型的步骤，以对初始网络模型进行循环压缩，直至得到满足预设压缩条件的压缩网络模型。根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中所述的网络模型压缩方法。根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的网络模型压缩方法。根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的网络模型压缩方法。在本申请的一些实施例所提供的技术方案中，通过网络模型中任意两个滤波器之间的向量距离，确定模型的中心滤波器和非中心滤波器，由于向量距离能够在一定程度上反映滤波器与滤波器之间在特征提取上的相似程度，所以，通过去除基于向量距离而确定的非中心滤波器，得到由中心滤波器构成的压缩网络模型，能够在对网络模型进行压缩的情况下保持模型的精度。例如，对于用来图像识别的网络模型来说，通过本申请提出的网络模型压缩方法进行压缩之后，能够去除图像网络模型中的冗余参数，使得其模型尺寸得到了很大程度上的压缩，但不会降低模型对图像识别的准确率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了可以应用本申请实施例的技术方案的示例性系统架构示意图；图2示出了根据本申请一个实施例的网络模型压本文档来自技高网...

【技术保护点】
1.一种网络模型压缩方法，其特征在于，所述方法包括：/n获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；/n基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的向量距离；/n通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述中心滤波器提取的图像特征中包括所述非中心滤波器提取的部分图像特征；/n对所述非中心滤波器进行剪枝，得到由所述中心滤波器构成的压缩网络模型。/n

【技术特征摘要】
1.一种网络模型压缩方法，其特征在于，所述方法包括：
获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；
基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的向量距离；
通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述中心滤波器提取的图像特征中包括所述非中心滤波器提取的部分图像特征；
对所述非中心滤波器进行剪枝，得到由所述中心滤波器构成的压缩网络模型。


2.根据权利要求1所述的方法，其特征在于，所述通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，包括：
针对所述至少两个滤波器中的每一个目标滤波器，对所述目标滤波器与除所述目标滤波器之外的滤波器的向量距离进行求和，得到所述目标滤波器的目标距离求和；
基于所述目标距离求和，将至少一个目标滤波器确定为中心滤波器；
将除所述至少一个目标滤波器之外的滤波器确定为非中心滤波器。


3.根据权利要求2所述的方法，其特征在于，所述基于所述目标距离求和，将至少一个目标滤波器确定为中心滤波，包括：
按照预先确定的滤波器剪枝比例，确定所述中心滤波器的保留数量；
按照目标距离求和从大到小的顺序，对各个目标滤波器进行排序；
将排序靠前的所述保留数量的目标滤波器确定为中心滤波器。


4.根据权利要求1所述的方法，其特征在于，在对所述非中心滤波器进行剪枝之前，所述方法还包括：
针对每一个中心滤波器，构造一个滤波器集合；
针对每一个非中心滤波器，确定距离所述非中心滤波器最近的目标中心滤波器，并将所述非中心滤波器添加至所述目标中心滤波器所在的滤波器集合；
更新所述网络模型中的滤波器参数，以缩小所述滤波器集合中的非中心滤波器与中心滤波器之间的向量距离。


5.根据权利要求4所述的方法，其特征在于，所述更新所述网络模型中的滤波器参数，包括：
基于图像训练数据，对所述网络模型进行迭代训练；
在每一次训练过程中，分别确定各个滤波器集合的集合梯度，以通过所述集合梯度更新所述滤波器集合中滤波器的滤波器参数。


6.根据权利要求5所述的方法，其特征在于，针...

【专利技术属性】
技术研发人员：程雅慧，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44