去雨模型轻量化方法、系统、设备及介质技术方案

本发明专利技术公开了一种去雨模型轻量化方法、系统、设备及介质，属于深度学习领域，方法包括：获取原始去雨模型，在原始去雨模型的输入侧设置自适应下采样模块，以形成自适应下采样加速模块；动态构建特征提取模块，特征提取模块的计算量与自适应下采样加速模块的计算量相匹配；设计特征融合模块，用于对自适应下采样加速模块的输出和特征提取模块的输出进行特征融合；对轻量化去雨模型进行优化训练，轻量化去雨模型包括自适应下采样加速模块、特征提取模块和特征融合模块。在保证去雨性能的基础上，减少去雨模型的推理时间、资源占用率。资源占用率。资源占用率。

【技术实现步骤摘要】
去雨模型轻量化方法、系统、设备及介质


[0001]本专利技术属于深度学习领域，更具体地，涉及一种去雨模型轻量化方法、系统、设备及介质。

技术介绍

[0002]随着深度学习的不断发展，卷积神经网络应用于各种任务，如图像去雨任务。图像去雨是一种像素到像素的过程，为了保证去雨模型的性能，往往使用较少的下采样，因此，在模型推理过程中，中间特征图往往占用了模型内存的绝大部分，同时，图像去雨模型的高分辨率特征图也会引入更多的矩阵运算和向量运算，从而使得图像去雨任务在嵌入式平台会花费较多时间。
[0003]现有的模型轻量化方法无法从根本上解决去雨模型的高分辨率特征图问题，如模型量化、剪枝等轻量化方法。模型量化改变的是参数位宽，无法解决去雨模型大尺寸特征图的问题，导致在实际运行时中间特征图占用的内存依然很大。剪枝去除的是冗余的通道，实际上，中间特征图也存在较多的冗余信息，而且大特征图产生的延时更加明显。此外，也存在使用空洞卷积和多尺度结构提取雨图特征，搭建轻量化模型的轻量化方法。但是，这些方法依然存在中间特征图尺寸大的问题，使得去雨模型推理缓慢、占用率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去雨模型轻量化方法，其特征在于，包括：S1，获取原始去雨模型，在所述原始去雨模型的输入侧设置自适应下采样模块，以形成自适应下采样加速模块；S2，动态构建特征提取模块，所述特征提取模块的计算量与所述自适应下采样加速模块的计算量相匹配；S3，设计特征融合模块，用于对所述自适应下采样加速模块的输出和所述特征提取模块的输出进行特征融合；S4，对轻量化去雨模型进行优化训练，所述轻量化去雨模型包括所述自适应下采样加速模块、所述特征提取模块和所述特征融合模块。2.如权利要求1所述的去雨模型轻量化方法，其特征在于，所述自适应下采样模块用于：对待去雨图像进行下采样，得到下采样图像，对所述待去雨图像和所述下采样图像分别进行傅里叶编码后，将得到的两个傅里叶编码结果相乘；对得到的相乘结果进行逆傅里叶编码后，将得到的逆傅里叶编码结果变形为卷积核；利用所述卷积核对所述下采样图像进行处理后输入所述原始去雨模型。3.如权利要求1所述的去雨模型轻量化方法，其特征在于，所述S4包括：S41，以所述特征提取模块的计算量与所述自适应下采样加速模块的计算量相匹配、且其损失函数收敛为目标，对所述特征提取模块进行优化训练；S42，以总损失函数收敛为目标，对所述自适应下采样加速模块、优化训练后的特征提取模块和所述特征融合模块进行优化训练。4.如权利要求3所述的去雨模型轻量化方法，其特征在于，所述S41包括：每次迭代优化训练时，在超网络中选取一条路径作为所述特征提取模块进行优化训练；利用NAS技术，搜索计算量与所述自适应下采样加速模块的计算量相匹配、且路径中BN层的缩放参数最大的路径，以作为优化训练后的特征提取模块。5.如权利要求3所述的去雨模型轻量化...

【专利技术属性】
技术研发人员：昌毅，朱颖盼，喻长峰，颜露新，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：