一种模型剪枝方法、图像处理方法及相关装置制造方法及图纸

本发明专利技术提供一种模型剪枝方法、图像处理方法及相关装置，包括：获取待剪枝模型以及其对应的剪枝目标，其中，所述待剪枝模型基于图像数据训练得到；根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置；根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型；其中，所述根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置，包括：根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置；基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置。本发明专利技术从全局最优出发，具有更好的剪枝效果。效果。效果。

【技术实现步骤摘要】
一种模型剪枝方法、图像处理方法及相关装置


[0001]本专利技术涉及模型压缩
，尤其涉及一种模型剪枝方法、图像处理方法及相关装置。

技术介绍

[0002]随着人工智能技术的发展，神经网络模型的应用也越来越广泛。考虑到网络模型的参数多、运算量大，为了提高模型的运算速度，需要对模型进行压缩。通过模型压缩，以达到减小模型尺寸，降低资源消耗并提升响应时间的目的。
[0003]其中，模型剪枝是当前一种常见的模型压缩方法，该方法通过在训练完模型后，去掉网络模型中权重较小的参数，以实现对神经网络模型的压缩。当前模型剪枝分为迭代式剪枝和一次剪枝(one
‑
shot剪枝)，两者在分析剪枝配置时通常采用贪心法确定剪枝配置，该方法无法达到全局最优，且对复杂的神经网络模型来说剪枝效果不够好。因此，如何从全局最优角度确定剪枝配置是亟需解决的技术问题。

技术实现思路

[0004]本专利技术提供一种模型剪枝方法、图像处理方法及相关装置，用以解决上述问题。
[0005]本专利技术提供一种模型剪枝方法，包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型剪枝方法，其特征在于，包括：获取待剪枝模型以及其对应的剪枝目标，其中，所述待剪枝模型基于图像数据训练得到；根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置；根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型；其中，所述根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置，包括：根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置；基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置。2.根据权利要求1所述的模型剪枝方法，其特征在于，所述剪枝目标为通道数剪枝比率；所述根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置，包括：获取所述待剪枝模型中每一网络层中各个通道的范数；根据所述每一网络层中各个通道的范数大小对每一网络层的通道进行排序，以获得每一网络层的通道序列；根据初始目标剪枝通道数从所述每一网络层的通道序列中确定初始待剪枝通道；其中，所述初始目标剪枝通道数根据所述通道数剪枝比率以及每一网络层的通道总数量计算得到；根据所述初始待剪枝通道以及其对应的通道信息生成初始剪枝配置。3.根据权利要求1所述的模型剪枝方法，其特征在于，所述剪枝目标为通道数剪枝比率；所述基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置，包括：S1，获取所述待剪枝模型中每一网络层中各个通道的范数；S2，按照所述各个通道的范数大小对所有通道进行排序，以获得与所述待剪枝模型对应的通道序列；S3，根据迭代目标剪枝通道数从与所述待剪枝模型对应的通道序列中确定迭代待剪枝通道；其中，所述迭代目标剪枝通道数根据所述通道数剪枝比率以及所述待剪枝模型的通道总数量计算得到；S4，根据所述迭代待剪枝通道及其对应的通道信息对所述初始剪枝配置进行更新，以获得新的初始剪枝配置；S5，利用训练图像及其对应的图像标签对所述待剪枝模型中每一网路层各个通道的网络参数进行更新，以获得更新后的网络参数；S6，基于所述更新后的网络参数，重复执行所述步骤S1
‑
S6，直到达到预设的迭代次数，获得最终的初始剪枝配置作为目标剪枝配置。
4.根据权利要求1所述的模型剪枝方法，其特征在于，所述根据所述目标剪枝配置以及所述剪枝...

【专利技术属性】
技术研发人员：陆强，
申请(专利权)人：际络科技上海有限公司，
类型：发明
国别省市：