基于多阶段渐进式编解码器网络和迁移学习的图像复原方法技术

本发明专利技术涉及图像处理技术领域，具体的说是一种解决图像拍摄过程中由于物体的相对运动、相机的抖动、电子干扰等产生的运动图像模糊问题的基于多阶段渐进式编解码器网络和迁移学习的图像复原方法，建立并训练基于多阶段渐进式编码器

【技术实现步骤摘要】
基于多阶段渐进式编解码器网络和迁移学习的图像复原方法

：
[0001]本专利技术涉及图像处理
，具体的说是一种解决图像拍摄过程中由于物体的相对运动、相机的抖动、电子干扰等产生的运动图像模糊问题的基于多阶段渐进式编解码器网络和迁移学习的图像复原方法。

技术介绍
：
[0002]在图像的拍摄、传输和存储过程中，由于摄像机位置的移动及其内部的噪声、天气因素(雨、雾等)，图像会退化，称为图像退化。图像恢复就是对退化图像进行恢复，这就要求在恢复图像时尽可能地保持空间细节与高层上下文信息之间的复杂平衡，最大限度地恢复原始清晰图像。由于存在无穷多个可行解，图像恢复是一个高度不适定的问题。在低层视觉任务中，图像恢复也是一项具有挑战性的任务。
[0003]由于相对运动、镜头抖动、相机内部传感器噪声、天气因素(雾霾等)、相机散焦等原因，导致图像在拍摄、传输和储存时会产生一定的退化，造成图像质量下降，产生模糊。其中运动模糊图像主要是由于相机与物体在短曝光时间内发生相对运动造成的，为了从运动模糊图像中提取有用的信息，图像复原已成为图像处理的一个重要研究方向，也是数字图像处理的一个重要应用。图像复原技术可以消除或减少图像退化的问题，获得更清晰的图像。
[0004]在早期的图像去模糊研究，一般是在去模糊过程中，假设模糊特征，利用图像的先验知识估计模糊核。因此，图像去模糊的重点之一是确定模糊核，根据模糊核的已知与否，去模糊方法可以分为两大类，一类模糊核已知，称为非盲复原；另一类模糊核未知，称为盲复原。
[0005]近年来，随着深度学习算法的发展，以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习算法被大量应用到图像复原领域。相比于早期根据图像先验信息或者基于滤波器的传统算法，深度学习算法可以达到更好的效果。

技术实现思路
：
[0006]本专利技术针对现有图像复原技术存在的缺陷和不足，提出了一种能够解决由于相对运动、镜头抖动、相机内部传感器噪声、天气因素(雾霾等)、相机散焦等原因，导致图像在拍摄、传输和储存时产生的退化、图像质量下降问题的基于多阶段渐进式编解码器网络和迁移学习的图像复原方法。
[0007]本专利技术通过以下措施达到：
[0008]一种基于多阶段渐进式编解码器网络和迁移学习的图像复原方法，其特征在于，包括以下步骤：
[0009]步骤1：建立并训练基于多阶段渐进式编码器
‑
解码器网络模型，模型分为三个结构相同的阶段，每个阶段均包括解码器部分、编码器部分以及跨层注意力特征传递机制，解码器部分与编码器部分包含三个卷积注意力块，每个卷积注意力块包含一个卷积层以及三
个注意力块，解码器部分包含三个上采样卷积层；其中，所述跨层注意力特征传递机制中包含四个注意力块；基于多阶段渐进式编码器和解码器网络模型的损失函数为多阶段渐进式损失函数；
[0010]步骤2：利用步骤1训练所得基于多阶段渐进式编码器和解码器网络模型完成图像复原处理。
[0011]本专利技术所述基于多阶段渐进式编码器和解码器网络模型中具体的说，根据输入特征图的全局平均池化特征，输出像素注意力权重，其中如公式所示：w
gp
＝σ(Conv(g(X)))，其中，X代表前一层输入的特征图，g代表平均池化，Conv代表卷积层，σ代表Sigmoid激活函数。
[0012]本专利技术所述基于多阶段渐进式编码器和解码器网络模型中多阶段渐进式损失函数由粗到精地衡量网络的收敛程度，同时指导网络进行由粗到精的图像复原，其中在第一阶段，使用MSE损失函数；第二阶段，使用Smooth L1损失函数；第三阶段，使用SSIM损失函数。
[0013]本专利技术针对图像复原领域多任务方向使用大量训练数据的问题，提出一种基于迁移学习的图像复原算法，将动态场景去模糊任务训练好的模型，经过迁移学习，运用到单幅图像去雨任务和图像去噪任务中，将模型进行微调，可使用较少的训练数据，达到较好的效果。与现有技术相比，能够解决图像拍摄过程中由于物体的相对运动、相机的抖动、电子干扰等产生的运动图像模糊问题，以及雨天拍摄图像中包含大量雨纹的问题，以及图片存储传输过程中产生噪声的问题，将模糊退化图像进行盲复原，并且基于迁移学习，完成单幅图像去雨以及图像去噪任务。
附图说明：
[0014]附图1是本专利技术中全局像素注意力设计图。
[0015]附图2是典型的卷积编码器解码器结构。
[0016]附图3是本专利技术的总体网络架构图。
[0017]附图4是实施例1中动态场景去模糊效果图。其中左侧是模糊图片，中间是去模糊后的效果，右侧是对照的清晰图片。
[0018]附图5是实施例中单幅去雨效果图。其中左侧是原始带雨图片，中间是复原后的效果，右侧是清晰图片。
[0019]附图6是实施例中图像去噪效果图。其中左侧是原始带噪声图片，右侧是去噪后的复原效果图片。
具体实施方式：
[0020]下面结合附图和具体实施例对本专利技术作进一步的说明。
[0021]本专利技术提出了一种基于多阶段渐进式编码器
‑
解码器网络和迁移学习的图像复原算法，包括模型搭建与训练阶段以及模型应用阶段。
[0022]所述模型搭建与训练阶段执行下述步骤：
[0023]步骤1：获取原始训练数据，并确定预处理方式，所述原始训练数据是图像复原训练所用图像对，包含成对的合成退化图像以及清晰图像，具体包含模糊清晰图像对，带雨清晰图像对，带噪清晰图像对。所述与处理方式包括，筛选图像像素大小，确定其大于训练最
小尺寸，确定图像对编号与尺寸相同，确保图像对是对应的合成退化与清晰图像对。
[0024]步骤2：模型搭建阶段，搭建使用步骤1获取的数据训练的卷积神经网络模型。所述模型包含本专利技术提出的全局像素注意力，通过将其整合到典型的卷积编码器解码器结构中，最终设计出本专利技术多阶段渐进式编解码器网络的总体网络架构。
[0025]步骤3：训练阶段。所述训练阶段包含去模糊预训练以及迁移学习的单幅图像去雨和图像去噪阶段，每个训练阶段包括数据增广以及网络优化部分。所述数据增广包括训练图像随机剪裁，随机水平翻转、垂直翻转、加高斯噪声与归一化。所述网络优化部分包括张量的前向传播与梯度的反向传播，基于动量的梯度优化部分。去模糊预训练阶段使用随机初始化权重的模型，同时使用模糊清晰图像对进行训练。基于迁移学习的去雨以及去噪阶段使用去模糊阶段预训练得到的权重，同时分别使用带雨清晰图像对以及带噪清晰图像对进行训练。
[0026]所述模型应用阶段执行下述步骤：
[0027]步骤1：获取应用数据，并根据数据确定预处理方式。所述应用数据是与训练数据同格式的合成退化清晰图像对与真实退化图像。所述处理方式包括归一化。
[0028]步骤2：模型的推理应用。所述模型的推理应用包括初始化模型，加载训练阶段得到的权重，将测试数据输入模型，然后将得到的推理结果进行与预处理阶段相反的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段渐进式编解码器网络和迁移学习的图像复原方法，其特征在于，包括以下步骤：步骤1：建立并训练基于多阶段渐进式编码器
‑
解码器网络模型，模型分为三个结构相同的阶段，每个阶段均包括解码器部分、编码器部分以及跨层注意力特征传递机制，解码器部分与编码器部分包含三个卷积注意力块，每个卷积注意力块包含一个卷积层以及三个注意力块，解码器部分包含三个上采样卷积层；其中，所述跨层注意力特征传递机制中包含四个注意力块；基于多阶段渐进式编码器和解码器网络模型的损失函数为多阶段渐进式损失函数；步骤2：利用步骤1训练所得基于多阶段渐进式编码器和解码器网络模型完成图像复原处理。2.根据权利要求1所述的一种基于多阶段渐进式编解码器网络和迁移学习...

【专利技术属性】
技术研发人员：张立晔，
申请(专利权)人：淄博纽氏达特机器人系统技术有限公司，
类型：发明
国别省市：