模型生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种模型生成方法、装置、电子设备及存储介质。所述方法包括：获取初始模式剪枝模型；基于所述初始模式剪枝模型对应的剪枝模式，生成多个参考模式剪枝模型；将所述初始模式剪枝模型和所述多个参考模式剪枝模型分别输入到成本模型中，获取所述成本模型输出的多个模式剪枝模型分别对应的运行参数，以得到多个运行参数，所述运行参数为对应的模式剪枝模型在电子设备上运行时表征电子设备的运行性能的参数；基于所述多个运行参数，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型。通过上述方法，可以从多个模式剪枝模型中找到与电子设备更适配的模式剪枝模型。的模式剪枝模型。的模式剪枝模型。

【技术实现步骤摘要】
模型生成方法、装置、电子设备及存储介质


[0001]本申请属于机器学习
，具体涉及一种模型生成方法、装置、电子设备及存储介质。

技术介绍

[0002]由于神经网络模型需要较多的计算资源和存储资源支持，而电子设备的计算资源和存储资源有限，从而限制了神经网络模型在电子设备中的应用。相关技术中，可以通过对神经网络模型进行剪枝处理来降低神经网络的运算量，以降低神经网络对计算资源和存储资源的消耗。但是，电子设备对于不同的神经网络模型在运行时的支持情况不同，导致神经网络模型与电子设备的适配度还有待提高。

技术实现思路

[0003]鉴于上述问题，本申请提出了一种模型生成方法、装置、电子设备以及存储介质，以实现改善上述问题。
[0004]第一方面，本申请实施例提供了一种模型生成方法，所述方法包括：获取初始模式剪枝模型；基于所述初始模式剪枝模型对应的剪枝模式，生成多个参考模式剪枝模型，其中，所述多个参考模式剪枝模型的网络权重与所述初始模式剪枝模型的网络权重具有相同零占比；将所述初始模式剪枝模型和所述多个参考模式剪枝模型分别输入到成本模型中，获取所述成本模型输出的多个模式剪枝模型分别对应的运行参数，以得到多个运行参数，所述运行参数为对应的模式剪枝模型在电子设备上运行时表征电子设备的运行性能的参数；基于所述多个运行参数，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型。
[0005]第二方面，本申请实施例提供了一种模型生成装置，所述装置包括：模型获取单元，用于获取初始模式剪枝模型；模型生成单元，用于基于所述初始模式剪枝模型对应的剪枝模式，生成多个参考模式剪枝模型，其中，所述多个参考模式剪枝模型的网络权重与所述初始模式剪枝模型的网络权重具有相同零占比；参数获取单元，用于将所述初始模式剪枝模型和所述多个参考模式剪枝模型分别输入到成本模型中，获取所述成本模型输出的多个剪枝模型分别对应的运行参数，以得到多个运行参数，所述运行参数为对应的模式剪枝模型在电子设备上运行时表征电子设备的运行性能的参数；模型确定单元，用于基于所述多个运行参数，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型。
[0006]第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
[0007]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
[0008]第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，所
述计算机程序/指令被处理器执行时实现上述方法的步骤。
[0009]本申请实施例提供了一种模型生成方法、装置、电子设备及存储介质。首先获取初始模式剪枝模型，然后基于初始模式剪枝模型对应的剪枝模式，生成多个参考模式剪枝模型，其中，所述多个参考模式剪枝模型的网络权重与所述初始模式剪枝模型的网络权重具有相同零占比，再将初始模式剪枝模型和多个参考模式剪枝模型分别输入到成本模型中，获取成本模型输出的多个模式剪枝模型分别对应的运行参数，以得到多个运行参数，所述运行参数为对应的模式剪枝模型在电子设备上运行时表征电子设备的运行性能的参数，基于多个运行参数，从多个模式剪枝模型模式中确定与电子设备适配的模式剪枝模型。通过上述方法，通过引入成本模型，可以对不同的模式剪枝模型在电子设备上运行时电子设备的运行参数进行计算，进而可以从多个模式剪枝模型中找到与电子设备更适配的模式剪枝模型。
附图说明
[0010]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1示出了本申请实施例提出的一种结构化剪枝的示意图；
[0012]图2示出了本申请实施例提出的一种模式剪枝的示意图；
[0013]图3示出了本申请实施例提出的一种剪枝前的原始模型的卷积示意图；
[0014]图4示出了本申请实施例提出的一种非结构化剪枝后模型的卷积示意图；
[0015]图5示出了本申请实施例提出的一种模式剪枝后模型的卷积示意图；
[0016]图6示出了本申请一实施例提出的一种模型生成方法的流程图；
[0017]图7示出了本申请一实施例提出的按照预设剪枝率生成的初始模式剪枝模型对应的示意图；
[0018]图8示出了本申请一实施例提出的随机生成的参考模式剪枝模型对应的示意图；
[0019]图9示出了本申请另一实施例提出的一种模型生成方法的流程图；
[0020]图10示出了本申请又一实施例提出的一种模型生成方法的流程图；
[0021]图11示出了本申请再一实施例提出的一种模型生成方法的流程图；
[0022]图12示出了本申请实施例提出的一种模型生成装置的结构框图；
[0023]图13示出了本申请实施例提出的一种模型生成装置的结构框图；
[0024]图14示出了本申请实时中的用于执行根据本申请实施例的模型生成方法的电子设备的结构框图；
[0025]图15示出了本申请实时中的用于保存或者携带实现根据本申请实施例的模型生成方法的程序代码的存储单元。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于
本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]深度学习的发展使得深度神经网络越来越多地被应用到如图像识别、检测及跟踪等计算机视觉任务中，且网络模型越来越多地趋向于往更宽更深的方向发展。深度学习的成功很大程度上依赖于模型大量的参数以及具有强大性能的计算设备。但是，由于深度神经网络巨大的内存需求和计算消耗使其比较难部署到低存储、低功耗的硬件平台上(如移动设备)，这极大地限制了其应用。因此，需要对深度神经网络模型进行模型压缩。模型压缩的技术主要包括模型量化技术、模型剪枝技术和模型搜索技术等。模型剪枝方法因其简单有效的特点成为了模型压缩方法中最具代表性的技术之一，其应用场景主要是模型部署阶段，例如当训练好的模型需要在手机、智能家居等移动设备上部署的时候，常常需要通过剪枝来缩减模型的大小，从而让模型具有更快的推断速度、占用更小的内存。
[0028]专利技术人经过研究发现，模型剪枝方法主要通过寻找一种有效的参数重要性判断手段，将不重要的参数裁剪从而得到压缩模型的效果。
[0029]相关的模型剪枝技术主要有结构化剪枝和非结构化剪枝两种。其中，非结构化模型的剪枝，即稀疏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成方法，其特征在于，所述方法包括：获取初始模式剪枝模型；基于所述初始模式剪枝模型对应的剪枝模式，生成多个参考模式剪枝模型，其中，所述多个参考模式剪枝模型的网络权重与所述初始模式剪枝模型的网络权重具有相同零占比；将所述初始模式剪枝模型和所述多个参考模式剪枝模型分别输入到成本模型中，获取所述成本模型输出的多个模式剪枝模型分别对应的运行参数，以得到多个运行参数，所述运行参数为对应的模式剪枝模型在电子设备上运行时表征电子设备的运行性能的参数；基于所述多个运行参数，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型。2.根据权利要求1所述的方法，其特征在于，所述获取初始模式剪枝模型，包括：根据模型调整参数，生成初始模式剪枝模型，所述模型调整参数用于表征生成的初始模式剪枝模型中的指定层的输入通道数量和输出通道数量以及生成的初始剪枝模型对应的剪枝模式。3.根据权利要求1所述的方法，其特征在于，所述基于所述多个运行参数，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型，包括：将所述多个运行参数中表征电子设备的运行性能最好的运行参数对应的模式剪枝模型确定为与所述电子设备适配的模式剪枝模型。4.根据权利要求3所述的方法，其特征在于，所述运行参数包括运行时延；所述将所述多个运行参数中表征电子设备的运行性能最好的运行参数对应的模式剪枝模型确定为与所述电子设备适配的模式剪枝模型，包括：将所述多个运行时延中表征电子设备的运行时延最短的运行时延对应的模式剪枝模型确定为与所述电子设备适配的模式剪枝模型。5.根据权利要求3所述的方法，其特征在于，所述运行参数包括运行功耗；所述将所述多个运行参数中表征电子设备的运行性能最好的运行参数对应的模式剪枝模型确定为与所述电子设备适配的模式剪枝模型，包括：将所述多个运行功耗中表征电子设备的运行功耗最小的运行功耗对应的模式剪枝模型确定为与所述电子设备适配的模式剪枝模型。6.根据权利要求1所述的方法，其特征在于，所述基于所述多个运行参数，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型，包括：获取所述多个运行参数各自对应的权重，以得到多个权重；基于所述多个权重，从所述多个模式剪枝模型中确定与所述电子设备适配的模式剪枝模型。7.根据权利要求6所述的方法，其特征在于，所述运行参数包括相对应的运行时延和运行功耗；所述...

【专利技术属性】
技术研发人员：张锐，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：