一种基于快速循环卷积网络的图像超分辨率重建方法技术

本发明专利技术涉及图像处理领域并公开一种基于快速循环卷积网络的图像超分辨率重建方法，其包括以下步骤：步骤1：将训练数据集中的每张高分辨率图像下采样对应的低分辨率图像，并分别切成若干子图像，步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；步骤3：将反卷积重建的高分辨率图像与训练数据集中的高分辨率图像进行比较，计算Charbonnier惩罚函数；步骤4，基于Charbonnier惩罚函数不断更新并优化获得最优的卷积权值参数和偏置参数。本发明专利技术克服现有由于计算代价昂贵而无法在移动设备上运行的缺点，显著地提高了重建效果。

A Super-resolution Image Reconstruction Method Based on Fast Cyclic Convolution Network

The invention relates to the field of image processing and discloses an image super-resolution reconstruction method based on fast cyclic convolution network. The method comprises the following steps: step 1: Sampling the corresponding low-resolution image from each high-resolution image in the training data set and cutting it into several sub-images respectively, step 2: Importing the low-resolution image in the training data set into the network to execute the special task separately. The corresponding high-resolution images are reconstructed in the feature extraction stage, fast cyclic convolution layer calculation stage, feature fusion stage and deconvolution calculation stage. Step 3: Compare the high-resolution images reconstructed by deconvolution with the high-resolution images in the training data set, calculate Charbonnier penalty function; Step 4, update and optimize the Charbonnier penalty function continuously. The optimal convolution weight parameters and bias parameters are obtained. The invention overcomes the disadvantage that the existing device can not run on the mobile device due to the high computing cost, and remarkably improves the reconstruction effect.

【技术实现步骤摘要】
一种基于快速循环卷积网络的图像超分辨率重建方法
本专利技术涉及图像超分辨率及增强领域，尤其涉及一种基于快速循环卷积网络的图像超分辨率重建方法。
技术介绍
图像超分辨率重建作为图像处理及增强的基础问题，旨在从低分辨率图像重建出其对应的高分辨率图像。随着移动设备显示技术的快速发展，移动端的可支持显示分辨率越来越高，尤其是iPhone手机已具备所谓的“视网膜屏”。因此，人们对移动端高清或者超高清图片的诉求也随之越来越大。为了获得更好的视觉体验，在脸书(Facebook),推特(Twitter),微博等社交平台，人们常乐于上传、下载和预览数十兆的高清图像。但是，这些用户需求带来了一定的困扰——要看高清图像也就意味着要占用大量带宽，一来是数据成本增加，二来加载速度会变慢，导致用户体验不佳。因此，在不影响用户体验的情况下，移动设备如何实现传输低分辨率图像来达到高清或者超高清图像效果，以提高加载速度和节约传输带宽成为目前亟待解决的一个问题。目前，与传统的图像超分辨率算法相比，基于深度学习的图像超分辨率算法已经显著地提高了图像质量和重建效果。Dong等人提出的SRCNN【1】是基于深度学习的超分辨率重建领域的开山之作，继承了传统机器学习领域稀疏编码的思想，只利用三层卷积层网络结构重建出其对应的高分辨率图像。但由于较浅层网络的局限性，超分辨率重建效果也不尽如意。随后为了提高超分辨率重建效果和图像质量，VDSR【2】,EDSR【3】和MDSR【3】等深层网络模型被提出，通过实验证明，网络层数的加深或者网络结构的改进，大大地提升了超分辨率重建的性能。但是以上算法都只考虑重建性能，忽略了计算复杂度。因此，为了减少计算复杂度，Tong等人提出了SRDenseNet【4】网络结构，该网络在不同特征层之间添加稠密连接和跳跃链接，此种策略为图像高分辨率重建中提供了浅层与深层之间信息传递的新思路，同时减少了大量的计算成本。但是，由于损失函数的设计不合理的原因，SRDenseNet网络结构重建出的高分辨率图像也存在一些瑕疵，有些细节和边缘过于模糊。随着生成对抗网络【5】的出现，SRGAN【6】首次将生成对抗网络应用在超分辨率重建上,并取得了不错的视觉效果。为了提高超分效果，中国公开专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号：CN105072373A,公开日为2015.11.18)采用了双向循环卷积网络结构重建视频图像高分辨率。但是，大部分重建效果较良好的基于深度学习的超分辨率算法都存在计算代价大的问题，因而不能直接适用于移动端超分辨率重建。谷歌提出了一项基于机器学习的超分辨率新技术RAISR，该技术是利用机器学习算法获得高、低分辨率的映射关系。这项技术能够在节省带宽75％的情况下高分辨率图像效果接近原图，同时速度能够提升大约10到100倍，能够实时处理移动端超分辨率重建。虽然相关研究已经取得了较好的图像超分辨率效果，但是大部分算法只考虑重建效果或者计算复杂度，很难直接适用于内存和计算复杂度要求极高的移动设备中。
技术实现思路
本专利技术的目的在于提供一种基于快速循环卷积网络的图像超分辨率重建方法。本专利技术采用的技术方案是：一种基于快速循环卷积网络的图像超分辨率重建方法，其包括如下步骤：步骤1：将训练数据集中的每张高分辨率图像下采样至原来的1/s，获得其对应的低分辨率图像，然后将把低分辨率图像高分辨率图像IHR分别切成m×m和(s×m)×(s×m)的子图像，其中s和m分别表示放大倍数和子图像的大小；步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；所述步骤2具体包括以下几个步骤：步骤2.1特征提取阶段：特征提取阶段由两个卷积层组成，输入的低分辨率图像进入特征提取层后，进行卷积运算和激活函数运算得到特征提取层输出结果，其计算公式是：F2＝g([g(W1*X+B1)]*W2+B2}(1)其中g(·)表示非线性激活函数，W1，W2，B1，B2分别表示特征提取阶段中第一和第二个卷积层的权重和偏置，X表示输入图片，F2表示特征提取阶段得到的输出结果；步骤2.2快速循环卷积阶段：快速循环卷积阶段采用五个深度可分离卷积层构成的循环结构体，快速循环卷积阶段包括前向传递和后向传递两个阶段；前向传递过程：循环结构体的最顶层作为循环体的输入层，输入层通过前向传递初始化后续的所有深度可分离卷积层参数，每个深度可分离卷积层的输出连接到下一深度可分离卷积层作为输入；后向传递过程：当循环体中所有深度可分离卷积层均得到一次更新后，所有的深度可分离卷积层通过反向传递对当前深度可分离卷积层的前一层进行前述相同的更新过程，直到循环体中所有深度可分离卷积层的参数均被重新更新一遍；每个深度可分离卷积层包括深度卷积层和点卷积层，深度卷积层通过单个卷积滤波器对输入图像的每个通道进行卷积处理，点卷积层通过1×1卷积核将深度卷积层的输出相连接以重建特征图；在该循环体内进行的上述卷积操作被称为快速循环卷积；该过程公式表示如下：其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；*定义可分离卷积操作，和分别表示深度卷积层和点卷积层在第1到i卷积层和第m到i卷积层之间的权重和偏置参数，f(·)表示非线性激活函数；将循环体中各层深度卷积层的输出特征图Xi相连接，可得到快速循环卷积阶段的输出FL，该过程可表示为：其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；步骤2.3特征融合阶段：特征融合阶段由一个卷积层和一个跳跃式连接构成。卷积层提取高层特征信息的同时降低循环结构输出通道数以减少网络计算量。通通过跳跃式连接将该层的输出与特征提取层的输出相连接，避免梯度弥散并且通过保留原始特征以增强信息，表示公式如下：Fg＝f(WLFL+BL)+F2(6)其中FL表示快速卷积模块的输出，WL和BL表示特征融合阶段卷积层的权重和偏置参数，F2是步骤2.1的特征提取层的输出，f(·)表示非线性激活函数。步骤2.4反卷积计算阶段：本专利技术的反卷积计算阶段由一个或者多个反卷积层组成，反卷积层将特征融合阶段所得特征图进行上采样操作，根据放大倍数选择反卷积的数量，其计算公式是：I′HR＝((Wd1*Fg+Bd1)*Wd2+Bd2)...*Wdn+Bdn(7)其中Wd1，Wd2，Wdn，Bd1，Bd2，和Bdn分别表示第一个、第二个和第n个反卷积层的权重和偏置参数，Fg是步骤2.3的特征融合层的输出，I′HR表示反卷积阶段的输出也即本专利技术重建的高分辨率图像。步骤3：利用步骤2.4反卷积操作后重建的高分辨率图像将与步骤1中所对应的高分辨率图像进行比较，计算Charbonnier惩罚函数。其中n表示高、低分辨率数图像的数量，I′HR表示重建的图像，IHR表示对应的高分辨率图像，ε表示正则化系数。步骤4，基于Charbonnier惩罚函数不断更新并优化获得最优的卷积权值参数和偏置参数；当重建后的图像与训练数据集中的高分辨率图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积本文档来自技高网...

【技术保护点】
1.一种基于快速循环卷积网络的图像超分辨率重建方法，其特征在于：其包括如下步骤：步骤1：将训练数据集中的每张高分辨率图像下采样至原来的1/s，获得其对应的低分辨率图像，将把低分辨率图像切成m×m的子图像，并把高分辨率图像切成(s×m)×(s×m)的子图像，其中s和m分别表示放大倍数和子图像的大小；步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；所述步骤2具体包括以下几个步骤：步骤2.1特征提取阶段：特征提取阶段由两个卷积层组成，输入的低分辨率图像进入特征提取层后，进行卷积运算和激活函数运算得到特征提取层输出结果，其计算公式是：F2＝g{[g(W1*X+B1)]*W2+B2}    (1)其中g(·)表示非线性激活函数，W1,W2,B1，B2分别表示特征提取阶段中第一和第二个卷积层的权重和偏置，X表示输入图片，F2表示特征提取阶段得到的输出结果；步骤2.2快速循环卷积阶段：快速循环卷积阶段采用五个以上的深度可分离卷积层构成的循环结构体，快速循环卷积阶段包括前向传递和后向传递两个阶段；前向传递过程：循环结构体的最顶层作为循环体的输入层，输入层通过前向传递初始化后续的所有深度可分离卷积层参数，每个深度可分离卷积层的输出连接到下一深度可分离卷积层作为输入；后向传递过程：当循环体中所有深度可分离卷积层均得到一次更新后，所有的深度可分离卷积层通过反向传递对当前深度可分离卷积层的前一层进行前述相同的更新过程，直到循环体中所有深度可分离卷积层的参数均被重新更新一遍；每个深度可分离卷积层包括深度卷积层和点卷积层，深度卷积层通过单个卷积滤波器对输入图像的每个通道进行卷积处理，点卷积层通过1×1卷积核将深度卷积层的输出相连接以重建特征图；在该循环体内进行的上述卷积操作被称为快速循环卷积；该过程公式表示如下：...

【技术特征摘要】
1.一种基于快速循环卷积网络的图像超分辨率重建方法，其特征在于：其包括如下步骤：步骤1：将训练数据集中的每张高分辨率图像下采样至原来的1/s，获得其对应的低分辨率图像，将把低分辨率图像切成m×m的子图像，并把高分辨率图像切成(s×m)×(s×m)的子图像，其中s和m分别表示放大倍数和子图像的大小；步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；所述步骤2具体包括以下几个步骤：步骤2.1特征提取阶段：特征提取阶段由两个卷积层组成，输入的低分辨率图像进入特征提取层后，进行卷积运算和激活函数运算得到特征提取层输出结果，其计算公式是：F2＝g{[g(W1*X+B1)]*W2+B2}(1)其中g(·)表示非线性激活函数，W1,W2,B1，B2分别表示特征提取阶段中第一和第二个卷积层的权重和偏置，X表示输入图片，F2表示特征提取阶段得到的输出结果；步骤2.2快速循环卷积阶段：快速循环卷积阶段采用五个以上的深度可分离卷积层构成的循环结构体，快速循环卷积阶段包括前向传递和后向传递两个阶段；前向传递过程：循环结构体的最顶层作为循环体的输入层，输入层通过前向传递初始化后续的所有深度可分离卷积层参数，每个深度可分离卷积层的输出连接到下一深度可分离卷积层作为输入；后向传递过程：当循环体中所有深度可分离卷积层均得到一次更新后，所有的深度可分离卷积层通过反向传递对当前深度可分离卷积层的前一层进行前述相同的更新过程，直到循环体中所有深度可分离卷积层的参数均被重新更新一遍；每个深度可分离卷积层包括深度卷积层和点卷积层，深度卷积层通过单个卷积滤波器对输入图像的每个通道进行卷积处理，点卷积层通过1×1卷积核将深度卷积层的输出相连接以重建特征图；在该循环体内进行的上述卷积操作被称为快速循环卷积；该过程公式表示如下：其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；*定义可分离卷积操作，和分别表示深度卷积层和点卷积层在第l到i卷积层和第m到i卷积层之间的权重和偏置参数，f·)表示非线性激活函数；将循环体中各层深度卷积层的输出特征图Xi相连接，可得到快速循环卷积阶段的输出FL，该过程可表示为：其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；步骤2.3特征融合阶段：特征融合阶段由一个卷积层和一个跳跃式连接构成，通过跳跃式连接将该层的...

【专利技术属性】
技术研发人员：高钦泉，聂可卉，李根，赵岩，童同，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：福建,35