一种复杂图像去模糊方法技术

本发明专利技术提供了一种复杂图像去模糊方法，包括步骤：输入模糊图像；对模糊图像进行下采样，得到采样后图片；编码残差块从采样后图片提取特征；将提取的特征输入残差网络训练；解码模块重构输出图片；生成当前尺度的去模糊图片；调整生成的当前尺度的去模糊图片尺寸，然后将调整后的图片与下个尺度输入模糊图片结合，返回进行该尺度的去模糊；尺度循环结束，生成并输出最终的去模糊图片。本发明专利技术通过多次验证，它有一个更简单的网络结构，更少的参数，而且更加容易训练，训练收敛快、参数少、去模糊效果好。

【技术实现步骤摘要】
一种复杂图像去模糊方法
本专利技术涉及计算机视觉和数字图像处理
，特别涉及一种复杂图像去模糊方法。
技术介绍
图像去模糊一直以来都是计算机视觉和图像处理领域内的一个重要问题。传统方法是通过对模糊的原理进行简化和建模，并使用不同的自然图像先验来约束解空间。这些方法大多数都涉及到大量的(有时是试验式的)参数调整和成本高昂的计算。此外，简化后的模糊模型往往不利于它们在真实拍摄样本上的表现。虽然到后面有研究者提出基于学习的方法，开始使用端到端的可训练网络来进行图像和视频的去模糊。但近年来的基于机器学习的方法过于依赖人工合成的模糊数据集。这使得传统的去模糊方法对于去除模糊核难以估计或参数化(例如物体运动边界)的模糊无能为力。因此，研究一种更简单的方法，使其能用更少的训练参数以更快的训练速度得到更优的去模糊效果，具有极大的研究意义和实用价值。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种复杂图像去模糊方法，该方法基于尺度循环网络(SRN，scale-recurrentnetwork)，相较于现有技术，该网络具有更少的参数，而且更加容易训练，训练收敛快、参数少、去模糊效果好、而且无需计算模糊核、更有效。本专利技术的目的通过以下的技术方案实现：一种复杂图像去模糊方法，包括步骤：S1、输入模糊图像；S2、对模糊图像进行下采样，得到采样后图片；S3、编码残差块从采样后图片提取特征；S4、将提取的特征输入残差网络训练；S5、解码模块重构输出图片；S6、生成当前尺度的去模糊图片；S7、调整生成的当前尺度的去模糊图片尺寸，然后将调整后的图片与下个尺度输入模糊图片结合，返回执行步骤S3；S8、尺度循环结束，生成并输出最终的去模糊图片。优选的，本专利技术共三个尺度，故每个尺度输入一张与其他尺度面积大小不同的模糊图片，三个尺度的输入图像按照面积从小到大的顺序排列。优选的，在每一个编码残差块中,先通过步长为2的卷积，将图片尺寸缩小一半，同时将特征维度增加一倍，把输入图片数据编成小尺寸、多通道的特征。更进一步的，所述编码残差块由一个卷积层和三个残差块ResBlock组成；其中每个残差块包含2个卷积层，卷积层的步幅是2，所有卷积层都具有相同数量的内核。优选的，将提取的特征输入残差网络训练，残差网络采用ResNet优化算法。从而可减少训练误差，防止梯度消失和梯度爆炸。更进一步的，残差网络中残差网络函数为：其中，为合并后的卷积核窗口参数矩阵(这个参数已经蕴含了卷积操作和跳层操作)，I代表ResNet中的跳层操作的参数，W代表ResNet中的卷积操作的参数，diag(a)是一个可训练的向量参数，用来控制需要跳层连接的程度，I是由卷积窗口导出的单位参数矩阵，也叫Diracdelta变换，任何输入经过这个I矩阵的变换，其输出还是输入本身。通过训练diag(a)，可以控制ResNet中的跳层操作和卷积操作两者的权重。优选的，解码模块的结构与编码残差块对称，用于将特征尺寸增加一倍，特征维度减少一半，把特征解码成与采样后图片相同形状的输出。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术提供了一种高效高质量去除复杂图像模糊的方法，其有一个更简单的网络结构，更少的参数，而且更加容易训练，训练收敛快、参数少、去模糊效果好。2、本专利技术将模糊图像进行多尺度处理，将上一尺度处理的去模糊图片与下一尺度的模糊图片进行融合，然后在此基础上再进行处理，使得处理的效果更好。附图说明图1是根据本专利技术实施例复杂图像去模糊方法的流程示意图。图2是根据本专利技术实施例复杂图像去模糊方法的测试样本图1。图3是根据本专利技术实施例复杂图像去模糊方法的实验结果图1。图4是根据本专利技术实施例复杂图像去模糊方法的测试样本图2。图5是根据本专利技术实施例复杂图像去模糊方法的实验结果图2。图6是根据本专利技术实施例复杂图像去模糊方法的特征提取图1。图7是根据本专利技术实施例复杂图像去模糊方法的特征提取图2。图8是根据本专利技术实施例复杂图像去模糊方法的特征提取图3。图9是根据本专利技术实施例复杂图像去模糊方法的面积为小的原始图片B1和尺度一图片生成的预测结果L1。图10是根据本专利技术实施例复杂图像去模糊方法的面积为中的原始图片B2和尺度二图片生成的预测结果L2。图11是根据本专利技术实施例复杂图像去模糊方法的面积为大的原始图片B3和尺度三图片生成的预测结果L3。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例1参见图1，本实施例一种复杂图像去模糊方法，采用了一种跨多尺度的新的递归结构，在不同尺度上将输入图像下采样的一个模糊图像序列为输入，在每个尺度上形成一个锐利的潜影，这需要一个模糊的图像和一个初始的去模糊结果作为输入，并以这个比例估计清晰的图像，在全分辨率下的锐利图像即为最终输出。数学表达式如下：Ii，hi＝NetSR(Bi，Ii+1↑，hi+1↑；θSR)，其中i是比例指数，i＝1代表最精细的比例。Bi、Ii是分别在第i级的模糊和估计的潜像。NetSR是本专利技术提出的规模递归网络，其训练参数表示为θSR。由于网络是循环的，因此隐藏状态特征hi会跨越尺度。隐藏状态捕获来自先前较粗尺度的图像结构和内核信息。(·)↑是从第(i-1)尺度到第i尺度调整特征或图像的算子。运算符(·)↑的可能选择包括反卷积层，子像素卷积和图像大小调整，需要适当地设计每个规模的网络。结合附图对各个步骤进行具体说明。第一步骤(S1)：输入原始的模糊图像。输入由于手抖、物体快速移动或焦点不聚焦等原因造成的模糊图片，如图2、图4。第二步骤(S2)：对模糊图像进行下采样，本实施例方法中网络总共三个尺度，在每个尺度，先将输入的模糊图片经过downsample函数进行处理，处理成面积大小分别为小、中、大的图片，如图9、10、11中标号分别为B1、B2、B3的图片。先把B1图片处理成小图片作为输入。第三步骤(S3)：由编码残差块(EBlocks)进行图片特征提取。在每一个编码残差块(EBlocks)中，先通过步长为2的卷积，将尺寸缩小一半，同时将特征维度增加一倍。把输入数据编成小尺寸、多通道的特征图。如图6、7、8中下面分割出来的小图片。所述编码残差块由一个卷积层和三个残差块ResBlock组成；其中每个残差块包含2个卷积层，卷积层的步幅是2，所有卷积层都具有相同数量的内核。详细步骤：编码残差块首先逐渐将输入数据变换为具有较小空间大小和更多信道(编码器)的特征映射的对称CNN结构，然后将它们变换回输入(解码器)的形状；卷积层将前一层的内核数量加倍，并将特征映射下采样到一半。第四步骤(S4)：将提取的特征输入残差网络训练。图像本文档来自技高网...

【技术保护点】
1.一种复杂图像去模糊方法，其特征在于，包括步骤：/nS1、输入模糊图像；/nS2、对模糊图像进行下采样，得到采样后图片；/nS3、编码残差块从采样后图片提取特征；/nS4、将提取的特征输入残差网络训练；/nS5、解码模块重构输出图片；/nS6、生成当前尺度的去模糊图片；/nS7、调整生成的当前尺度的去模糊图片尺寸，然后将调整后的图片与下个尺度输入模糊图片结合，返回执行步骤S3；/nS8、尺度循环结束，生成并输出最终的去模糊图片。/n

【技术特征摘要】
1.一种复杂图像去模糊方法，其特征在于，包括步骤：
S1、输入模糊图像；
S2、对模糊图像进行下采样，得到采样后图片；
S3、编码残差块从采样后图片提取特征；
S4、将提取的特征输入残差网络训练；
S5、解码模块重构输出图片；
S6、生成当前尺度的去模糊图片；
S7、调整生成的当前尺度的去模糊图片尺寸，然后将调整后的图片与下个尺度输入模糊图片结合，返回执行步骤S3；
S8、尺度循环结束，生成并输出最终的去模糊图片。


2.根据权利要求1所述的复杂图像去模糊方法，其特征在于，所述方法共三个尺度，故每个尺度输入一张与其他尺度面积大小不同的模糊图片，三个尺度的输入图像按照面积从小到大的顺序排列。


3.根据权利要求1所述的复杂图像去模糊方法，其特征在于，在每一个编码残差块中,先通过步长为2的卷积，将图片尺寸缩小一半，同时将特征维度增加一倍，把输入图片数据编成小尺寸、多通道的特征。


4.根据权利要求3所述的复杂图像去...

【专利技术属性】
技术研发人员：朱静，黄朗，尹邦政，吕敏玲，罗涛，陶为俊，黄文恺，陈明希，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东;44