一种基于渐进变化率空洞卷积的图像去模糊方法技术

本发明专利技术公开了一种基于渐进变化率空洞卷积的图像去模糊方法，包括步骤1、构建基于渐进变化率空洞卷积的图像去模糊网络；步骤2、构建步骤1图像去模糊网络的联合损失函数；步骤3、构建步骤1图像去模糊网络的自适应尺寸裁剪函数；步骤4、采集若干清晰和模糊影像图片对，构建图片去模糊样本集；步骤5、利用图像去模糊样本集、联合损失函数和自适应尺寸裁减函数训练所述图像去模糊网络；步骤6、将待增强图片输入训练完成的图像去模糊网络中，得到重建图像，实现图像去模糊。本发明专利技术对各类视角场景中交通场景要素具有强结构化特征的图像有较好的恢复效果。复效果。复效果。

【技术实现步骤摘要】
一种基于渐进变化率空洞卷积的图像去模糊方法


[0001]本专利技术属于图像处理
，具体涉及一种基于渐进变化率空洞卷积的图像去模糊方法。

技术介绍

[0002]近年来，伴随着图像采集设备价格的日渐降低，各类设备已广泛运用于实际生产生活中的各个领域。交通场景中，无论是基于固定探头的交通场景监控、基于无人机的机载相机、基于车载相机的各类场景中，都不免遇到以下问题：因拍摄条件中快门速度过低、被摄物体
‑
相机间相对运动速度过快等原因造成图像采集设备采集的画面模糊。这类画面模糊问题无论是对现实场景的人眼辨识任务或是其他计算机视觉任务(如车牌识别，异常事件监测)，均带来了巨大挑战。
[0003]传统解决方法是通过将现实场景中的模糊模型进行简化后建模，这些方法主要包括通过使用不同的自然图像先验知识，来约束解空间，以达到对均匀模糊、非均匀模糊、考虑深度的模糊的建模。这些方法都涉及到大量手动设计的参数和成本高昂的计算，并且实际场景中图像模糊的形成过程比建模情况更加复杂，传统方法设计的先验重建质量极差。
[0004]近年来，伴随着深度学习方法在低级视觉任务中的广泛使用，采用大规模数据集训练的深度学习图像去模糊方法在重建图像的质量上有了极大的提升，大幅度提升了重建图像的视觉质量。并且基于卷积神经网络设计的图像去模糊方法实现了端到端的图像重建，可以快速移植到各类深度学习嵌入式开发板上实现图像的实时重建与增强。
[0005]伴随深度学习发展，目前已有大量针对真实运动场景的图像去模糊方法。但是这些方法设计的网络结构往往十分复杂，并且在网络设计中引入了大量的重复上下采样操作及引入了生成对抗网络的思想，这些方法会造成图像特征的不对齐，进而在恢复交通场景中常见的车牌、路牌等具有强几何结构信息的内容时会造成重建字符的错误，严重影响了图像去模糊方法在交通场景中的有效使用。

技术实现思路

[0006]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于渐进变化率空洞卷积的图像去模糊方法，通过渐进变化空洞卷积代替重复上下采样过程，避免该过程带来的特征不对齐情况，用于准确恢复现实场景模糊图像中的强结构信息内容。
[0007]为实现上述技术目的，本专利技术采取的技术方案为：
[0008]一种基于渐进变化率空洞卷积的图像去模糊方法，包括：
[0009]步骤1、构建基于渐进变化率空洞卷积的图像去模糊网络；
[0010]步骤2、构建步骤1图像去模糊网络的联合损失函数；
[0011]步骤3、构建步骤1图像去模糊网络的自适应尺寸裁剪函数；
[0012]步骤4、采集若干清晰和模糊影像图片对，构建图片去模糊样本集；
[0013]步骤5、利用图像去模糊样本集、联合损失函数和自适应尺寸裁减函数训练所述图
像去模糊网络；
[0014]步骤6、将待增强图片输入训练完成的图像去模糊网络中，得到重建图像，实现图像去模糊。
[0015]为优化上述技术方案，采取的具体措施还包括：
[0016]上述的步骤1构建的基于渐进变化率空洞卷积的图像去模糊网络，包括特征提取模块、渐进变化率空洞卷积金字塔模块、特征融合模块、特征精馏模块；
[0017]其中，特征提取模块将图片进行初步特征处理、同时降低图像分辨率尺度；
[0018]渐进变化率空洞卷积金字塔模块进一步处理特征提取模块输出的图像特征，将其映射至高维空间；
[0019]特征融合模块将渐进变化率空洞卷积金字塔模块输出的特征上采样至原先尺寸，并与网络浅层特征连接；
[0020]特征精馏模块通过可变形卷积，进一步改善特征融合模块的输出，得到最终输出的图片。
[0021]上述的特征提取模块由2个卷积层组成，其中第一个卷积层卷积核为5*5的卷积；第二个卷积层卷积核为3*3的卷积。
[0022]上述的渐进变化率空洞卷积金字塔模块包括若干并联的金字塔结构的空洞卷积模块；
[0023]空洞卷积模块分为奇数空洞卷积模块与偶数空洞卷积模块；
[0024]其中，偶数空洞卷积模块中将输入的特征图复制为4份，分别进入如下4条空洞卷积分支：
[0025]第一条分支空洞卷积率为1，卷积核为3；
[0026]第二条分支空洞卷积率为2，卷积核为3；
[0027]第三条分支空洞卷积率为4，卷积核为3；
[0028]第四条分支空洞卷积率为8，卷积核为3；
[0029]经过4条空洞卷积分支后，将输出的特征图沿着通道维度进行拼接，在经过一个3*3的卷积层和一个通道混洗层后，将输入特征图与经过通道混洗层后的输出特征图进行相加后，得到最终的输出特征图；
[0030]奇数空洞卷积模块中，将输入的特征图复制为4份，分别进入如下4条空洞卷积分支：
[0031]第一条分支空洞卷积率为1，卷积核为3；
[0032]第二条分支空洞卷积率为3，卷积核为3；
[0033]第三条分支空洞卷积率为5，卷积核为3；
[0034]第四条分支空洞卷积率为7，卷积核为3；
[0035]经过4条空洞卷积分支后，将输出的特征图沿着通道维度进行拼接，在经过一个3*3的卷积层和一个通道混洗层后，将输入特征图与经过通道混洗层后的输出特征图进行相加后，得到最终的输出特征图；
[0036]上述的特征融合模块由一个3*3的卷积核和一个2倍放大的上采样层组成。
[0037]上述的特征精馏模块包括两个可变形卷积层，第一个可变形卷积层卷积核为3，输入通道数为64，输出通道数为128；第二个可变形卷积层，卷积核为3，输入通道数为128，输
出通道数为3。
[0038]上述的步骤2中，构建联合损失函数，包括：
[0039]1)构建图像相似度对比损失L
ssim
:
[0040][0041]其中，SSIM为SSIM(x，y)＝[l(x，y)]α
[c(x，y)]β
[s(x，y)]γ
；
[0042]X
i
、Y
i
、N分别为重建图像中第i个对比元素、真实清晰图像中第i个对比元素、对比元素总数；
[0043]l(x，y)为明度分量：
[0044][0045]其中，x代表重建图像，y代表真实清晰图像；μ
x
,μ
y
分别代表重建图像的像素灰度值均值，真实清晰图像的像素灰度值均值；
[0046]c(x，y)为颜色分量：
[0047][0048]其中，σ
x
,σ
y
分别代表重建图像的像素均值归一化后的方差，真实清晰图像的像素均值归一化后的方差；
[0049]s(x，y)为结构分量：
[0050]s(x，y)＝σ
xy
+C3/(σ
x
σ
y
+C3)；
[0051]取α＝β＝γ＝1,C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进变化率空洞卷积的图像去模糊方法，其特征在于，包括：步骤1、构建基于渐进变化率空洞卷积的图像去模糊网络；步骤2、构建步骤1图像去模糊网络的联合损失函数；步骤3、构建步骤1图像去模糊网络的自适应尺寸裁剪函数；步骤4、采集若干清晰和模糊影像图片对，构建图片去模糊样本集；步骤5、利用图像去模糊样本集、联合损失函数和自适应尺寸裁减函数训练所述图像去模糊网络；步骤6、将待增强图片输入训练完成的图像去模糊网络中，得到重建图像，实现图像去模糊。2.根据权利要求1所述的一种基于渐进变化率空洞卷积的图像去模糊方法，其特征在于，所述步骤1构建的基于渐进变化率空洞卷积的图像去模糊网络，包括特征提取模块、渐进变化率空洞卷积金字塔模块、特征融合模块、特征精馏模块；其中，特征提取模块将图片进行初步特征处理、同时降低图像分辨率尺度；渐进变化率空洞卷积金字塔模块进一步处理特征提取模块输出的图像特征，将其映射至高维空间；特征融合模块将渐进变化率空洞卷积金字塔模块输出的特征上采样至原先尺寸，并与网络浅层特征连接；特征精馏模块通过可变形卷积，进一步改善特征融合模块的输出，得到最终输出的图片。3.根据权利要求2所述的一种基于渐进变化率空洞卷积的图像去模糊方法，其特征在于，所述特征提取模块由2个卷积层组成，其中第一个卷积层卷积核为5*5的卷积；第二个卷积层卷积核为3*3的卷积。4.根据权利要求3所述的一种基于渐进变化率空洞卷积的图像去模糊方法，其特征在于，所述渐进变化率空洞卷积金字塔模块包括若干并联的金字塔结构的空洞卷积模块；空洞卷积模块分为奇数空洞卷积模块与偶数空洞卷积模块；其中，偶数空洞卷积模块中将输入的特征图复制为4份，分别进入如下4条空洞卷积分支：第一条分支空洞卷积率为1，卷积核为3；第二条分支空洞卷积率为2，卷积核为3；第三条分支空洞卷积率为4，卷积核为3；第四条分支空洞卷积率为8，卷积核为3；经过4条空洞卷积分支后，将输出的特征图沿着通道维度进行拼接，在经过一个3*3的卷积层和一个通道混洗层后，将输入特征图与经过通道混洗层后的输出特征图进行相加后，得到最终的输出特征图；奇数空洞卷积模块中，将输入的特征图复制为4份，分别进入如下4条空洞卷积分支：第一条分支空洞卷积率为1，卷积核为3；第二条分支空洞卷积率为3，卷积核为3；第三条分支空洞卷积率为5，卷积核为3；第四条分支空洞卷积率为7，卷积核为3；
经过4条空洞卷积分支后，将输出的特征图沿着通道维度进行拼接，在经过一个3*3的卷积层和一个通道混洗层后，将输入特征图与经过通道混洗层后的输出特征图进行相加后，得到最终的输出特征图。5.根据权利要求4所述的一种基于渐进变化率空洞卷积的图像去模糊方法，其特征在于，所述特...

【专利技术属性】
技术研发人员：夏颖，周敏，陈宇飞，张松，张韵晨，
申请(专利权)人：南京中设航空科技发展有限公司，
类型：发明
国别省市：