一种模型剪枝方法、图像处理方法及相关装置制造方法及图纸

本发明专利技术提供一种模型剪枝方法、图像处理方法及相关装置，包括：获取待剪枝模型以及其对应的剪枝目标，其中，所述待剪枝模型基于图像数据训练得到；根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置；根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型；其中，所述根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置，包括：根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置；基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置。本发明专利技术从全局最优出发，具有更好的剪枝效果。效果。效果。

【技术实现步骤摘要】
一种模型剪枝方法、图像处理方法及相关装置


[0001]本专利技术涉及模型压缩
，尤其涉及一种模型剪枝方法、图像处理方法及相关装置。

技术介绍

[0002]随着人工智能技术的发展，神经网络模型的应用也越来越广泛。考虑到网络模型的参数多、运算量大，为了提高模型的运算速度，需要对模型进行压缩。通过模型压缩，以达到减小模型尺寸，降低资源消耗并提升响应时间的目的。
[0003]其中，模型剪枝是当前一种常见的模型压缩方法，该方法通过在训练完模型后，去掉网络模型中权重较小的参数，以实现对神经网络模型的压缩。当前模型剪枝分为迭代式剪枝和一次剪枝(one
‑
shot剪枝)，两者在分析剪枝配置时通常采用贪心法确定剪枝配置，该方法无法达到全局最优，且对复杂的神经网络模型来说剪枝效果不够好。因此，如何从全局最优角度确定剪枝配置是亟需解决的技术问题。

技术实现思路

[0004]本专利技术提供一种模型剪枝方法、图像处理方法及相关装置，用以解决上述问题。
[0005]本专利技术提供一种模型剪枝方法，包括：
[0006]获取待剪枝模型以及其对应的剪枝目标，其中，所述待剪枝模型基于图像数据训练得到；
[0007]根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置；
[0008]根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型；
[0009]其中，所述根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置，包括：r/>[0010]根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置；
[0011]基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置。
[0012]根据本专利技术提供的一种模型剪枝方法，所述剪枝目标为通道数剪枝比率；
[0013]所述根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置，包括：
[0014]获取所述待剪枝模型中每一网络层中各个通道的范数；
[0015]根据所述每一网络层中各个通道的范数大小对每一网络层的通道进行排序，以获得每一网络层的通道序列；
[0016]根据初始目标剪枝通道数从所述每一网络层的通道序列中确定初始待剪枝通道；其中，所述初始目标剪枝通道数根据所述通道数剪枝比率以及每一网络层的通道总数量计
算得到；
[0017]根据所述初始待剪枝通道以及其对应的通道信息生成初始剪枝配置。
[0018]根据本专利技术提供的一种模型剪枝方法，所述剪枝目标为通道数剪枝比率；
[0019]所述基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置，包括：
[0020]S1，获取所述待剪枝模型中每一网络层中各个通道的范数；
[0021]S2，按照所述各个通道的范数大小对所有通道进行排序，以获得与所述待剪枝模型对应的通道序列；
[0022]S3，根据迭代目标剪枝通道数从与所述待剪枝模型对应的通道序列中确定迭代待剪枝通道；其中，所述迭代目标剪枝通道数根据所述通道数剪枝比率以及所述待剪枝模型的通道总数量计算得到；
[0023]S4，根据所述迭代待剪枝通道及其对应的通道信息对所述初始剪枝配置进行更新，以获得新的初始剪枝配置；
[0024]S5，利用训练图像及其对应的图像标签对所述待剪枝模型中每一网路层各个通道的网络参数进行更新，以获得更新后的网络参数；
[0025]S6，基于所述更新后的网络参数，重复执行所述步骤S1
‑
S6，直到达到预设的迭代次数，获得最终的初始剪枝配置作为目标剪枝配置。
[0026]根据本专利技术提供的一种模型剪枝方法，所述根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型，包括：
[0027]根据所述目标剪枝配置对所述待剪枝模型进行一次剪枝，获得剪枝后模型；
[0028]根据预设的微调训练次数对所述剪枝后模型进行微调训练，获得目标模型。
[0029]根据本专利技术提供的一种模型剪枝方法，所述预设的迭代次数或所述预设的微调训练次数均根据待剪枝模型的剪枝训练参数确定；
[0030]其中，所述剪枝训练参数包括预剪枝迭代次数占比以及剪枝训练的总迭代次数；
[0031]所述预设的迭代次数为预剪枝迭代次数占比与剪枝训练的总迭代次数的乘积；
[0032]所述预设的微调训练次数为所述剪枝训练的总迭代次数与所述预设的迭代次数之间的差值。
[0033]本专利技术还提供一种图像处理方法，包括：
[0034]获取待处理图像；
[0035]将所述待处理图像输入到训练好的图像处理模型中，通过所述训练好的图像处理模型对所述待处理图像进行处理，得到处理结果；其中，所述训练好的图像处理模型为通过上述任一所述的模型剪枝方法得到。
[0036]本专利技术还提供一种模型剪枝装置，包括：
[0037]待剪枝模型与剪枝目标获取模块，用于获取待剪枝模型以及其对应的剪枝目标，其中，所述待剪枝模型基于图像数据训练得到；
[0038]预剪枝模块，用于根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置；
[0039]一次剪枝模块，用于根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型；
[0040]其中，所述预剪枝模块具体用于：
[0041]根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置；
[0042]基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置。
[0043]本专利技术还提供一种图像处理装置，包括：
[0044]图像获取模块，用于获取待处理图像；
[0045]图像处理模块，用于将所述待处理图像输入到训练好的图像处理模型中，通过所述训练好的图像处理模型对所述待处理图像进行处理，得到处理结果；其中，所述训练好的图像处理模型为通过如上述的模型剪枝装置得到。
[0046]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种模型剪枝方法或图像处理方法。
[0047]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一种模型剪枝方法或图像处理方法。
[0048]本专利技术提供的模型剪枝方法、图像处理方法及相关装置，其中，模型剪枝方法通过先对待剪枝模型进行预剪枝获得目标剪枝配置，再根据目标剪枝配置对待剪枝模型进行一次剪枝，从而获得目标模型。其中，预剪枝过程是先根据剪枝目标对待剪枝模型进行均匀剪枝获得初始剪枝配置，再进行迭代剪枝获得目标剪枝配置，从全局最优的角度设计预剪枝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型剪枝方法，其特征在于，包括：获取待剪枝模型以及其对应的剪枝目标，其中，所述待剪枝模型基于图像数据训练得到；根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置；根据所述目标剪枝配置以及所述剪枝目标对所述待剪枝模型进行一次剪枝，获得目标模型；其中，所述根据所述剪枝目标对所述待剪枝模型进行预剪枝，以获得目标剪枝配置，包括：根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置；基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置。2.根据权利要求1所述的模型剪枝方法，其特征在于，所述剪枝目标为通道数剪枝比率；所述根据所述剪枝目标对所述待剪枝模型中每一网络层的通道进行均匀剪枝，获得初始剪枝配置，包括：获取所述待剪枝模型中每一网络层中各个通道的范数；根据所述每一网络层中各个通道的范数大小对每一网络层的通道进行排序，以获得每一网络层的通道序列；根据初始目标剪枝通道数从所述每一网络层的通道序列中确定初始待剪枝通道；其中，所述初始目标剪枝通道数根据所述通道数剪枝比率以及每一网络层的通道总数量计算得到；根据所述初始待剪枝通道以及其对应的通道信息生成初始剪枝配置。3.根据权利要求1所述的模型剪枝方法，其特征在于，所述剪枝目标为通道数剪枝比率；所述基于所述剪枝目标以及所述初始剪枝配置，对所述待剪枝模型中所有网络层的通道进行迭代剪枝，获得目标剪枝配置，包括：S1，获取所述待剪枝模型中每一网络层中各个通道的范数；S2，按照所述各个通道的范数大小对所有通道进行排序，以获得与所述待剪枝模型对应的通道序列；S3，根据迭代目标剪枝通道数从与所述待剪枝模型对应的通道序列中确定迭代待剪枝通道；其中，所述迭代目标剪枝通道数根据所述通道数剪枝比率以及所述待剪枝模型的通道总数量计算得到；S4，根据所述迭代待剪枝通道及其对应的通道信息对所述初始剪枝配置进行更新，以获得新的初始剪枝配置；S5，利用训练图像及其对应的图像标签对所述待剪枝模型中每一网路层各个通道的网络参数进行更新，以获得更新后的网络参数；S6，基于所述更新后的网络参数，重复执行所述步骤S1
‑
S6，直到达到预设的迭代次数，获得最终的初始剪枝配置作为目标剪枝配置。
4.根据权利要求1所述的模型剪枝方法，其特征在于，所述根据所述目标剪枝配置以及所述剪枝...

【专利技术属性】
技术研发人员：陆强，
申请(专利权)人：际络科技上海有限公司，
类型：发明
国别省市：