基于ResNet网络的图像去模糊方法技术

本发明专利技术属于图像处理技术领域，具体公开了基于ResNet网络的图像去模糊方法，具体如下：一、在ResNet18网络基础上，构建Deblur‑ResNet网络模型；二、将数据集的RGB图像转换为Y分量图像、U分量图像和V分量图像，Y分量图像、U分量图像和V分量图像分别作为Deblur‑ResNet网络模型的训练集；三、在ResNet18网络内增设独立卷积层和独立反卷积层；四、使用Y分量图像、U分量图像、V分量图像训练Deblur‑ResNet网络模型，去模糊网络的参数使用随机初始化，用损失函数反向传播来更新网络参数，大大降低了运算复杂度，取得了很好的去模糊效果。

【技术实现步骤摘要】
基于ResNet网络的图像去模糊方法
本专利技术属于图像处理
，具体涉及一种模糊图像的恢复方法。
技术介绍
近年来图像去模糊技术在理论和实际中都得到了广泛应用，例如医学成像、道路交通监控、目标追踪、目标物体识别等。随着科技的发展，图像信息将被应用到更为广泛的领域，因此图像去模糊作为图像复原技术的一个分支，一直是一个具有挑战性的问题。早期的图像去模糊算法把模糊过程看作清晰图像与点扩散函数的卷积，基于点扩散函数的图像去模糊算法主要有维纳滤波算法、RL滤波算法、总变分算法等，由于这些方法只适用于简单的模糊图像，如散焦模糊、运动模糊等，对一些复杂模糊则无法用数学公式表示。鉴于经典方法去模糊的局限，后来的方法在经典方法基础上充分利用了自然图像的一些先验信息来复原图像，并且将其作为正则化项(基于正则化技术)来改进图像的去模糊效果。这些方法虽然有一定的去模糊效果，但大多涉及大量的参数调整和复杂的计算，限制了大量场景的应用，另外，这类方法对去模糊模型的简化假设常常会妨碍它们的性能的提升。近年来，深度学习(Deeplearning,DL)已经成为当前图像恢复领域中的重要发展方向。使用卷积神经网络(ConvolutionalNeuralNetworks,CNN)去解决图像去模糊问题逐渐成为研究热点。使用深度卷积神经网络对传统图像进行去模糊。为达到图像清晰度的提升,通常增加CNN的卷积层数量或改进结构来完善模型的性能。但这是以增加模型大小和推理速度为代价的，并且随着网络深度的加深，网络的堆叠效果并不好，训练时还会出现梯度弥散或梯度爆炸等问题。
技术实现思路
为解决现有技术存在的技术问题，本专利技术使用了低复杂度的ResNet结构，即在原ResNet18架构基础上进行改进，提出了Deblur-ResNet网络模型，考虑到人眼对亮度变化比较敏感，本专利技术将原RGB图像转换为Y、U、V，仅使用Y分量图像对Deblur-ResNet网络进行训练，用训练好的模型分别对Y、U、V恢复，再转换为恢复的RGB图像。为实现上述目的，本专利技术所采用的技术方案为：基于ResNet网络的图像去模糊方法，其特征在于，具体步骤如下：步骤一、在ResNet18网络基础上，构建Deblur-ResNet网络模型。步骤二、将GOPRO、DVD、NFS数据集的RGB图像均转为Y分量图像、U分量图像和V分量图像，Y分量图像、U分量图像和V分量图像分别作为Deblur-ResNet网络模型的训练集。步骤三、在ResNet18网络内增设独立卷积层和独立反卷积层，将ResNet18网络的输入通道数量由3变为1；1)、Deblur-ResNet网络模型的整体框架内设特征提取部分：a、内设conv1-5五个独立卷积层，五个卷积层均使用64个卷积核，conv1卷积层的大小为3×3、步长为1；conv2卷积层的大小为3×3、步长为1；conv3卷积层的大小为3×3、步长为1；conv4卷积层的大小为7×7、步长为2；conv5卷积层的大小为7×7、步长为2。b、内设conv6_x-conv9_x四个卷积残差模块，conv6_x-conv9_x和ResNet18网络的conv2_x-conv5_x结构相似，conv6_x-conv9_x的每个卷积残差模块均包含1个或2个基本残差块。c、输入图像大小为256×256×1，输出图像大小为64×64×512。2)、Deblur-ResNet网络模型的整体框架内设图像恢复部分：a、内设deconv1、deconv2两个反卷积层，运用反卷积跳跃连接的方法，在deconv1反卷积层前端连接conv10_x卷积残差模块，在deconv2反卷积层前端连接conv11_x卷积残差模块。b、两个反卷积层的后端设置deconv3、deconv4、deconv5三个独立反卷积层。c、最后一层为conv12独立卷积层。d、输入图像大小为64×64×512，输出图像大小为256×256×1，输出图像与原始图像大小一致。步骤四、使用Y分量图像、U分量图像、V分量图像分别训练Deblur-ResNet网络模型，去模糊网络的参数使用随机初始化，用损失函数反向传播来更新网络参数。由于GOPRO、DVD、NFS数据集数据有限，并且DVD、NFS数据集图像尺度不同，将去模糊图像随机切分为patch作为输入图像，训练网络。使用GOPRO、DVD、NFS数据集训练去模糊网络，其中，GoPro数据集使用GoProHero4camera捕捉的240帧视频序列，包含3214模糊/清晰图像对，使用2103对训练，其余1111对进行测试。DVD数据集收集了71个真实世界的视频，然后生成6708合成模糊和清晰图像对，该数据集最初用于视频去模糊，但后来也被用于图像去模糊领域，NFS数据集最初被用于标记视觉目标跟踪，它由75个视频组成，涵盖了各种场景，包括运动，跳伞，水下、野生动物、路边和室内场景。在步骤四中，采用四种基本损失函数，在损失函数的驱动下，更新去模糊网络；一、基于模糊图像和清晰图像之间的L1损失函数为：二、基于模糊图像和清晰图像之间的均方误差(MSE)损失函数为：其中，N为样本个数，x为清晰图像，y为恢复图像,p为像素值；三、基于模糊图像和清晰图像之间的结构相似(SSIM)损失函数：四、多尺度结构相似(MS-SSIM)损失函数为：其中，为像素块P的中心点像素。SSIM损失的优势在于保留高频信息，即图像的边缘和细节；MS-SSIM损失是基于不同缩放比例的多层SSIM损失的加权平均，MS-SSIM对不同分辨率的图像都能保持性能稳定。但SSIM和MS-SSIM容易导致亮度的改变和颜色的偏差，而L1损失函数能较好的保持亮度和颜色不变化。将四种基本损失函数进行组合，得到三种组合损失函数，作为最终的损失函数，具体如下：多尺度结构相似损失函数与L1损失函数的组合，MS-SSIM+L1(即MS_L1)：结构相似损失函数与L1损失函数的组合，SSIM+L1(即SS_L1)：其中，α、β均取经验值。其中，作为优选的，α取0.84，β取0.90。作为一种Deblur-ResNet网络模型的训练方法：采用Y分量图像、U分量图像、V分量图像分别训练Deblur-ResNet网络模型。作为另一种Deblur-ResNet网络模型的训练方法：只采用Y分量图像训练Deblur-ResNet网络模型。最后，将两种训练方法的输出均与对应的清晰图片的像素值逐个比较，求得损失后，进行反馈传播进而更新参数优化模型。实验对比结果表明，两种训练方法的性能比较接近，但第一种训练方法要经过三次训练，计算复杂度明显高于第二种训练。针对卷积神经网络，本专利技术对传统残差网络进行改进，提升了模型的图像去模糊效果。本专利技术通过简单的本文档来自技高网...

【技术保护点】
1.基于ResNet网络的图像去模糊方法，其特征在于，具体步骤如下：/n一、在ResNet18网络基础上，构建Deblur-ResNet网络模型；/n二、将数据集的RGB图像转换为Y分量图像、U分量图像和V分量图像，Y分量图像、U分量图像和V分量图像分别作为Deblur-ResNet网络模型的训练集；/n三、在ResNet18网络内增设独立卷积层和独立反卷积层，Deblur-ResNet网络模型的输入通道数量设为1；/n1)、Deblur-ResNet网络模型的整体框架内设特征提取部分：/na、内设conv1-5五个独立卷积层，五个卷积层均使用64个卷积核，conv1卷积层的大小为3×3、步长为1；conv2卷积层的大小为3×3、步长为1；conv3卷积层的大小为3×3、步长为1；conv4卷积层的大小为7×7、步长为2；conv5卷积层的大小为7×7、步长为2；/nb、内设conv6_x-conv9_x四个卷积残差模块，conv6_x-conv9_x的每个卷积残差模块均包含1个或2个基本残差块；/nc、输入图像大小为256×256×1，输出图像大小为64×64×512；/n2)、Deblur-ResNet网络模型的整体框架内设图像恢复部分：/na、内设deconv1-2两个反卷积层，deconv1反卷积层的前端连接conv10_x卷积残差模块，deconv2反卷积层的前端连接conv11_x卷积残差模块；/nb、两个反卷积层的后端设置deconv3-5三个独立反卷积层；/nc、最后一层为conv12独立卷积层；/nd、输入图像大小为64×64×512，输出图像大小为256×256×1；/n四、使用Y分量图像、U分量图像、V分量图像训练Deblur-ResNet网络模型，去模糊网络的参数使用随机初始化，用损失函数反向传播来更新网络参数。/n...

【技术特征摘要】
1.基于ResNet网络的图像去模糊方法，其特征在于，具体步骤如下：
一、在ResNet18网络基础上，构建Deblur-ResNet网络模型；
二、将数据集的RGB图像转换为Y分量图像、U分量图像和V分量图像，Y分量图像、U分量图像和V分量图像分别作为Deblur-ResNet网络模型的训练集；
三、在ResNet18网络内增设独立卷积层和独立反卷积层，Deblur-ResNet网络模型的输入通道数量设为1；
1)、Deblur-ResNet网络模型的整体框架内设特征提取部分：
a、内设conv1-5五个独立卷积层，五个卷积层均使用64个卷积核，conv1卷积层的大小为3×3、步长为1；conv2卷积层的大小为3×3、步长为1；conv3卷积层的大小为3×3、步长为1；conv4卷积层的大小为7×7、步长为2；conv5卷积层的大小为7×7、步长为2；
b、内设conv6_x-conv9_x四个卷积残差模块，conv6_x-conv9_x的每个卷积残差模块均包含1个或2个基本残差块；
c、输入图像大小为256×256×1，输出图像大小为64×64×512；
2)、Deblur-ResNet网络模型的整体框架内设图像恢复部分：
a、内设deconv1-2两个反卷积层，deconv1反卷积层的前端连接conv10_x卷积残差模块，deconv2反卷积层的前端连接conv11_x卷积残差模块；
b、两个反卷积层的后端设置deconv3-5三个独立反卷积层；
c、最后一层为conv12独立卷积层；
d、输入图像大小为64×64×512，输出图像大小为256×256×1；
四、使用Y分量图像、U分量图像、V分量图像训练Deblur-Re...

【专利技术属性】
技术研发人员：张萌，王海东，王自强，谢海波，张文，
申请(专利权)人：太原巍昂科电子科技有限责任公司，
类型：发明
国别省市：山西;14