一种基于结构重参数化的模型优化方法技术

本发明专利技术公开了一种基于结构重参数化的模型优化方法。本发明专利技术步骤包括：1、确定当前模型是否包括卷积、残差结构；2、确定当前模型的数据集类型，对不同的数据进行增强图像；3、对当前模型进行结构复杂化，将当前模型中3x3卷积结构改写多分支结构，得到复杂模型；然后用确定的数据集训练该复杂模型，得到训练好的复杂模型的模型权重；4、基于结构重参数化替换复杂模型中的分支结构，将复杂模型中的分支结构等价替换为单个卷积核大小相同的3x3卷积结构，同时删除复杂模型中梯度为0的通道，得到裁剪后的模型；5、测试裁剪过的模型，进行评估测试精度。本发明专利技术的优势在于使用结构重参数化实现剪枝和重构，适用范围广、模型精确度高、鲁棒性强。强。强。

【技术实现步骤摘要】
一种基于结构重参数化的模型优化方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于结构重参数化的模型优化方法。

技术介绍

[0002]近年来，随着深度神经网络的发展，模型优化许多优化方向：模型剪枝、知识蒸馏、量化等，这些优化方法往往需要在模型大小与模型精度之间相互权衡。而通道结构重参数化方法，其目的就是能够在保证保证网络模型精度的情况下，对模型训练通道进行剪枝，极为有效的降低模型运算量。
[0003]特别地，当神经网络需要集成到开发板的时候，精度会因为模型量化而达不到理想的效果，越大的模型越不容易部署。因此，通道结构重参数化能够有效降低模型带来的损耗，有利于模型的部署。
[0004]本专利技术提出了一种结构重参数化的模型优化方法，特别地，专利技术改进了一种强有力的模型训练方式，由于模型训练过程并不会对模型部署产生影响，通过加深模型训练时的复杂度，进一步使用模型重参数化进行训练后测试，有效提高了测试中精度影响，极大提高了神经网络部署于MCU中的整体能力，进一步提高了模型的性能。
专利技术内容
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构重参数化的模型优化方法，其特征在于包括以下步骤：步骤1、确定当前模型是否包括卷积、残差结构；步骤2、确定当前模型的数据集类型，对不同的数据进行增强图像；步骤3、对当前模型进行结构复杂化，将当前模型中3x3卷积结构改写多分支结构，得到复杂模型；然后用确定的数据集训练该复杂模型，得到训练好的复杂模型的模型权重；步骤4、基于结构重参数化替换复杂模型中的分支结构，将复杂模型中的分支结构等价替换为单个卷积核大小相同的3x3卷积结构，同时删除复杂模型中梯度为0的通道，得到裁剪后的...

【专利技术属性】
技术研发人员：李建军，陈挺，陈威特，林乃健，叶茵，闫志峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：