一种基于联合深度网络的压缩低分辨率图像复原方法技术

一种基于联合深度网络的压缩低分辨率图像复原方法属于数字图像/视频信号处理领域。本发明专利技术从协同处理压缩失真和降采样因素的角度出发，可完成含有压缩失真与低分辨率随机组合的退化图像复原；本发明专利技术的网络含有28卷积层，建立细长型的网络结构，根据迁移学习的思想，对预先训练好的模型采用微调的方式完成极深网络的训练收敛，解决梯度消失、梯度爆炸的问题；本发明专利技术通过特征可视化完成网络模型参数的设定，端对端的学习退化特征与理想特征的关系，且省去预处理和后处理；最后，本发明专利技术完成三个重要融合，相同尺寸特征图的融合，残差图像的融合，高频信息与高频初始估计图的融合，能协同解决具有压缩失真的低分辨率图像的超分辨复原问题。

A low resolution image restoration method based on joint depth network

A compression low resolution image restoration method based on joint depth network belongs to the field of digital image / video signal processing. The present invention from the synergistic treatment of compression distortion and downsampling factors point of view, can be completed with compression distortion and restoration of blurred image with low resolution random combination; the network containing 28 volume layer network structure established long and slim, according to the idea of transfer learning, training on the convergence of pre trained models with fine tune the way complete the deep network, to solve the problem of the explosion of the gradient, gradient disappeared; the invention realizes the network model parameters through the visual feature set, characteristics and the relationship between the ideal characteristics of degraded end-to-end learning, and to preprocessing and postprocessing; finally, the invention realizes three important fusion, fusion feature map of the same size the residual image fusion, image fusion and estimation of high frequency and high frequency information can solve the initial, with low resolution image compression distortion super-resolution Discrimination problem.

【技术实现步骤摘要】
一种基于联合深度网络的压缩低分辨率图像复原方法
本专利技术属于数字图像/视频信号处理领域，特别涉及一种基于联合深度网络的压缩低分辨率图像复原方法。
技术介绍
随着多媒体技术的快速发展和广泛的应用，高质量的图像和视频已经成为一种主流的需求。视频数据的质量越高，其分析价值越大。然而，受到有限的信道带宽和存储能力等因素的影响，图像和视频均已压缩形式传输和常态存储。最常见的图像退化因素有下采样和压缩失真。下采样减少了图像的空间分辨率，而压缩失真导致图像存在块效应、振铃、以及模糊等问题。因此，针对压缩失真的低分辨率图像，研究多降质因素图像复原技术，具有重要的理论意义和实际应用价值。图像超分辨率复原方法能够利用单帧或多帧的低分辨率图像恢复出高分辨率图像。在采用针对无压缩图像的超分辨率方法直接对压缩失真的低分辨率图像进行超分辨率复原时，图像分辨率会提高，但严重的块效应失真现象也会放大。因此，去除块效应成为退化图像复原过程中的一个重要问题。广大学者往往采用预处理、后处理的去噪方法来减少块效应，提高重建图像的主观质量，具有灵活、简单、有效等优势。现有的传统处理方法通常将图像去压缩失真和超分辨率复原作为分别独立的任务加以解决。或者，有些方法将含有压缩失真的低分辨率图像进行依次串行处理。已有的主要方法分为基于图像增强的预处理方法和后处理方法。在预处理方法中，图像去噪、去块处理模块后级联一个超分辨率复原模块。该方法基本实现图像去块、去噪和空间分辨率提高等功能。但在去噪过程中，其不可避免地丢失的一些图像细节信息，从而降低超分辨率复原的性能。基于图像增强的后处理方法，则在超分辨率复原模块后级联一个图像去噪模块。该方法虽然实现空间分辨率放大，但在超分辨率复原过程中，压缩失真现象也随之放大，这对后续的压缩失真处理造成困难。以上方法均为浅层学习的方法。由于学习能力有限，这些方法提取的特征是图像的底层特征，该方法的重建性能受到制约。另外，两个降质因素分别独立处理的方式，未能充分考虑两个问题的相互关系。近年来，基于深度学习的图像复原方法受到了人们的关注。这类方法在领域知识引导及数据驱动下进行网络学习，所获得的特征在预测任务中被证实比传统的手工设计的特征具备更强的表征能力，从而提升预测的准确性。相比于传统的浅层学习方法，深度学习方法取得更优的重建质量。基于卷积神经网络的超分辨率复原方法与基于稀疏编码的超分辨率复原方法构建等价性，将特征提取、非线性映射、图像重建三个阶段统一到一个深度卷积神经网络中，通过卷积神经网络直接学习低分辨率图像到高分辨率图像的映射关系。在去噪声问题中，该方法在改变训练样本之后，端对端的学习退化图像与复原图像之间的映射关系，可以实现去噪声功能。该方法表明深度卷积神经网络具有强大的特征表示学习能力。然而，在针对同时含有压缩失真和低分辨率降质因素的图像复原中，该方法的重建图像的平坦区域仍含有较明显的块效应。基于卷积神经网络的去压缩失真复原方法根据去压缩失真任务的特点，在特征提取层后加入特征增强层。该方法首先通过特征提取过程中得到含噪声影响的特征，再将其映射到理想的特征空间，最后完成图像重建。该方法表明深度学习在特征学习过程中具有去压缩失真的能力，并为退化特征到理想特征的映射关系学习提供指导。然而，该方法的卷积核尺寸是为了去压缩失真任务而特定设置，未能实现空间分辨率的放大。虽然基于深度学习的图像复原方法具有较好的重建效果，但是由于此方法针对解决图像单降质因素问题，当对多降质因素的处理时，此方法无法得到较好的重建图像。
技术实现思路
本专利技术的目的在于克服现有技术的不足，针对同时含有压缩失真和低分辨率两种降质问题的低质量图像，提供一个去压缩失真与超分辨率复原的联合深度网络，使其能协同解决具有压缩失真的低分辨率图像的超分辨复原问题。本专利技术是采用以下技术手段实现的：一种基于联合深度网络的压缩低分辨率图像复原方法，主要包括整体流程、离线部分和在线部分。整体流程：首先设计了图像复原的处理流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图尺寸的调整，完成退化图像映射到复原图像；离线部分：主要包括3个步骤：训练样本彩色空间变换；训练样本库生成；网络训练及模型获取。其中，训练样本库生成方法中包括训练样本获取的三个阶段；网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取；在线部分：主要包括5个步骤：特征提取；特征增强；特征图重建；高频信息提取；高频信息融合。其中，特征提取包括图像块提取，特征表示；高频信息融合包括特征融合，残差图像融合。所述的整体流程，具体步骤如下：(1)本专利技术的整体流程。如附图1所示，图像复原流程主要包括去压缩失真处理和超分辨率复原处理。当待处理的退化图像放大倍数为a时，本专利技术的图像复原流程具体如下：在去压缩失真处理中，输入退化图像，对其进行特征提取、特征增强和特征映射重建，产生去压缩失真的特征图；然后，在超分辨率复原处理中，首先将去压缩失真的特征图插值放大a倍，输出后的高分辨率HR初始估计图像是输入退化图像尺寸的a倍；然后，将HR初始估计图经过高频特征提取和高频信息融合得到残差图像；最后，残差图像与HR初始估计图像相加后得到重建后的HR图像。(2)本专利技术设计的网络结构，各层对应于图像复原的处理流程，具有不同的物理意义。如附图3所示，本专利技术的网络结构包括28个卷积层，25个RELU激活模块，一个双三次(Bicubic)插值放大模块，两个融合层。其中，在去压缩失真的步骤中，由4个卷积层和3个RELU激活模块组成去压缩失真的子模块，每个卷积层对应本专利技术中特征提取、特征增强、非线性映射、特征重建的步骤；在尾端级联一个相同的去压缩失真子模块，由两个去压缩失真子模块组成一个去压缩失真的子网络，包括8个卷积层和6个RELU激活模块。在超分辨率复原的步骤中，由一个插值放大模块，20个卷积层，19个RELU激活模块，两个融合层组成一个超分辨率复原子网络，其中高频信息提取阶段采用19个卷积层，重建阶段采用1个卷积层，两个融合层包括特征图融合、残差图像融合。在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类。如5×5×3×20:代表滤波器宽高各为5个像素，输入图像通道数为3，共20种。(3)本专利技术在图像复原过程中，各卷积层输入和输出特征图的变化如下：本专利技术中没有加入池化层和全连接层，在前8个卷积层中先采用先卷积操作，再对输出尺寸变化的特征图采用上采样操作，旨在保证输入特征图与输出特征图的尺寸不变。在压缩失真处理过程中，输入图像大小为1×64×64的特征图，在第一个卷积层中，先经过64个卷积核9×9之后会产生64×56×56的特征图，再经过上采样得到64×64×64的特征图；在第二个卷积层中，输入大小为64×64×64的特征图，先经过32个卷积核7×7之后会产生32×58×58的特征图，再经过上采样得到32×64×64的特征图；在第三个卷积层中，输入大小为32×64×64的特征图，先经过16个卷积核1×1之后会产生16×64×64的特征图；在第四个卷积层中，输入大小为16×64×64的特征图，先经本文档来自技高网...

【技术保护点】
一种基于联合深度网络的压缩低分辨率图像复原方法，包括整体流程、离线部分和在线部分；其特征在于：整体流程：首先设计了图像复原的处理流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图尺寸的调整，完成退化图像映射到复原图像；离线部分：包括3个步骤：训练样本彩色空间变换；训练样本库生成；网络训练及模型获取；其中，训练样本库生成方法中包括训练样本获取的三个阶段；网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取；在线部分：包括5个步骤：特征提取；特征增强；特征图重建；高频信息提取；高频信息融合；其中，特征提取包括图像块提取，特征表示；高频信息融合包括特征融合，残差图像融合；所述的整体流程，具体步骤如下：(1)图像复原流程包括去压缩失真处理和超分辨率复原处理；当待处理的退化图像放大倍数为a时，图像复原流程具体如下：在去压缩失真处理中，输入退化图像，对其进行特征提取、特征增强和特征映射重建，产生去压缩失真的特征图；然后，在超分辨率复原处理中，首先将去压缩失真的特征图插值放大a倍，输出后的HR初始估计图像的尺寸是输入退化图像尺寸的a倍，但是HR初始估计图像缺少图像高频信息；然后，经过高频特征提取和高频信息融合得到残差图像；最后，残差图像与HR初始估计图像相加后得到重建后的HR图像；(2)网络结构包括28个卷积层，25个RELU激活模块，1个双三次(Bicubic)插值放大模块，2个融合层；其中，在去压缩失真的步骤中，由4个卷积层和3个RELU激活模块组成去压缩失真的子模块，每个卷积层对应特征提取、特征增强、非线性映射、特征重建的步骤，在尾端级联一个相同的去压缩失真子模块，由两个去压缩失真子模块组成一个去压缩失真的子网络，包括8个卷积层和6个RELU激活模块；在超分辨率复原的步骤中，由1个双三次(Bicubic)插值放大模块，20个卷积层，19个RELU激活模块，两个融合层组成一个超分辨率复原子网络，其中高频信息提取阶段采用19个卷积层，重建阶段采用1个卷积层，两个融合层包括特征图融合、残差图像融合；在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D，其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；如5×5×3×20:代表滤波器宽高各为5个像素，输入图像通道数为3，共20种滤波器；所述的离线部分，具体步骤如下：(1)训练样本彩色空间变换：将图像从RGB颜色空间转换到YCbCr颜色空间；只对图像的亮度通道(Y)进行处理；(2)训练样本库生成：首先采用滑动窗在图像上滑动，随机裁剪生成大量子图像Z；然后先经过不同放大倍数的下采样D，再经过不同放大倍数上采样U，生成无压缩失真的低分辨率训练样本；最后采用JPEG压缩方法Q，分别进行不同压缩质量参数CQ的压缩处理，生成不同压缩失真程度的低分辨率训练样本X。所得训练样本根据不同阶段重建监督的需求进行分组；图像退化过程如公式(1)所示。X＝DUQ(Z)    (1)(3)训练网络：首先，为去压缩失真子网络和超分辨率复原子网络分别建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题。其中，去压缩失真子网络采用MSE损失函数确定误差，通过随机梯度下降法(SGD)调整最优化网络参数，基础学习率设置为0.0001，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；超分辨率复原子网络采用微批梯度下降法(mini‑batch)计算网络误差并调节网络参数，基础学习率设置为0.1，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；最后，经过反复迭代，当达到预设的最大迭代次数(4万次)时停止训练，获得图像复原的网络模型。所述的在线部分，具体步骤如下：(1)对输入图像进行特征提取：获取一幅待处理的压缩失真的低分辨率，采用滑动窗提取重叠的图像块；并将每个图像块表示为向量，由这些向量组合成特征图的集合；根据逐层特征图可视化得到特征变换的重要信息，但是特征提取阶段所得到的特征图含有噪声和伪影；(2)对含噪声的特征图进行去噪声并实现特征增强：对特征提取得到的特征图进行卷积操作；利用离线训练所得到的含噪声特征与无噪声特征的映射关系，进行含噪声特征的自适应调节，完成含噪声特征到理想特征空间的映射；特征增强层产生去除噪声的特征图，但是所得到的特征图过亮或过暗；(3)去噪声特征图的重建：将去除噪声特征图中的向量非线性映射到另一个向量中；由这些向量组成多个重建特征图，再由多个重建的特征图平均产生一个重建特征图；以上三个步骤为一个去压缩失真子模块的处理过程，在去压缩失真子模块之后需要级联一个相同的去压缩失真子模块，重复前三个步骤处理过程，获得去压缩失真重建特征图，它的尺寸与输入图像的尺寸相同；(4)高频信息提...

【技术特征摘要】
1.一种基于联合深度网络的压缩低分辨率图像复原方法，包括整体流程、离线部分和在线部分；其特征在于：整体流程：首先设计了图像复原的处理流程；然后根据此流程设计了网络结构；最后将该网络各阶段特征图尺寸的调整，完成退化图像映射到复原图像；离线部分：包括3个步骤：训练样本彩色空间变换；训练样本库生成；网络训练及模型获取；其中，训练样本库生成方法中包括训练样本获取的三个阶段；网络模型训练及模型获取阶段包括损失函数、梯度下降法的选取；在线部分：包括5个步骤：特征提取；特征增强；特征图重建；高频信息提取；高频信息融合；其中，特征提取包括图像块提取，特征表示；高频信息融合包括特征融合，残差图像融合；所述的整体流程，具体步骤如下：(1)图像复原流程包括去压缩失真处理和超分辨率复原处理；当待处理的退化图像放大倍数为a时，图像复原流程具体如下：在去压缩失真处理中，输入退化图像，对其进行特征提取、特征增强和特征映射重建，产生去压缩失真的特征图；然后，在超分辨率复原处理中，首先将去压缩失真的特征图插值放大a倍，输出后的HR初始估计图像的尺寸是输入退化图像尺寸的a倍，但是HR初始估计图像缺少图像高频信息；然后，经过高频特征提取和高频信息融合得到残差图像；最后，残差图像与HR初始估计图像相加后得到重建后的HR图像；(2)网络结构包括28个卷积层，25个RELU激活模块，1个双三次(Bicubic)插值放大模块，2个融合层；其中，在去压缩失真的步骤中，由4个卷积层和3个RELU激活模块组成去压缩失真的子模块，每个卷积层对应特征提取、特征增强、非线性映射、特征重建的步骤，在尾端级联一个相同的去压缩失真子模块，由两个去压缩失真子模块组成一个去压缩失真的子网络，包括8个卷积层和6个RELU激活模块；在超分辨率复原的步骤中，由1个双三次(Bicubic)插值放大模块，20个卷积层，19个RELU激活模块，两个融合层组成一个超分辨率复原子网络，其中高频信息提取阶段采用19个卷积层，重建阶段采用1个卷积层，两个融合层包括特征图融合、残差图像融合；在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D，其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；如5×5×3×20:代表滤波器宽高各为5个像素，输入图像通道数为3，共20种滤波器；所述的离线部分，具体步骤如下：(1)训练样本彩色空间变换：将图像从RGB颜色空间转换到YCbCr颜色空间；只对图像的亮度通道(Y)进行处理；(2)训练样本库生成：首先采用滑动窗在图像上滑动，随机裁剪生成大量子图像Z；然后先经过不同放大倍数的下采样D，再经过不同放大倍数上采样U，生成无压缩失真的低分辨率训练样本；最后采用JPEG压缩方法Q，分别进行不同压缩质量参数CQ的压缩处理，生成不同压缩失真程度的低分辨率训练样本X。所得训练样本根据不同阶段重建监督的需求进行分组；图像退化过程如公式(1)所示。X＝DUQ(Z)(1)(3)训练网络：首先，为去压缩失真子网络和超分辨率复原子网络分别建立损失监督，并采用常用的梯度下降法求解最小化损失函数的问题。其中，去压缩失真子网络采用MSE损失函数确定误差，通过随机梯度下降法(SGD)调整最优化网络参数，基础学习率设置为0.0001，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；超分辨率复原子网络采用微批梯度下降法(mini-batch)计算网络误差并调节网络参数，基础学习率设置为0.1，每训练1000次减半；权重衰减设为0.0005，动量设置为0.9；最后，经过反复迭代，当达到预设的最大迭代次数(4万次)时停止训练，获得图像复原的网络模型。所述的在线部分，具体步骤如下：(1)对输入图像进行特征提取：获取一幅待处理的压缩失真的低分辨率，采用滑动窗提取重叠的图像块；并将每个图像块表示为向量，由这些向量组合成特征图的集合；根据逐层特征图可视化得到特征变换的重要信息，但是特征提取阶段所得到的特征图含有噪声和伪影；(2)对含噪声的特征图进行去噪声并实现特征增强：对特征提取得到的特征图进行卷积操作；利用离线训练所得到...

【专利技术属性】
技术研发人员：李晓光，孙旭，卓力，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11