一种基于多尺度标签的亚像素卷积图像超分辨率重建方法技术

本发明专利技术公开了一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，包括：建立并训练一个由特征提取结构、残差模块、上采样结构、特征重建结构以及跨尺度跳跃连接结构组成的基于多尺度标签的亚像素卷积网络,并使用该网络完成图像的超分辨率重建工作。将输入图像由RGB颜色空间转换到YCbCr颜色空间。其中，Cb、Cr两个通道使用双三次插值上采样的方法完成超分辨率重建工作。Y通道送入到训练好的网络中，输出Y通道的超分辨率重建图像。融合Y、Cb、Cr通道的超分辨率重建图像，得到最终的高分辨率图像。本发明专利技术可以快速准确地得到超分辨率图像，得到的超分辨率图像无论是在主观评测还是在客观图像质量评价方面，都能取得很好的效果。

A multi scale label based super-resolution reconstruction method for sub-pixel convolution images

The invention discloses a super-resolution reconstruction method of sub-pixel convolution image based on multi-scale label, which includes: establishing and training a sub-pixel convolution network based on multi-scale label, which is composed of feature extraction structure, residual module, up-sampling structure, feature reconstruction structure and cross-scale jump connection structure, and using the multi-scale label. The network completes the super-resolution reconstruction of images. Convert input image from RGB color space to YCbCr color space. Among them, Cb and Cr two channels use double three interpolation interpolation sampling method to complete super-resolution reconstruction. The Y channel is sent to the trained network to output the super resolution reconstruction image of the Y channel. The super resolution reconstruction image fused with Y, Cb and Cr channels is used to get the final high-resolution image. The invention can quickly and accurately obtain the super-resolution image, and the obtained super-resolution image can achieve good results both in subjective evaluation and objective image quality evaluation.

【技术实现步骤摘要】
一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
本专利技术属于数字图像处理、深度学习以及模式识别的交叉领域，更具体地，涉及一种基于多尺度标签的亚像素卷积图像超分辨率重建方法。
技术介绍
提高图像的分辨率在数字图像处理相关领域具有十分重要的意义。然而获取图像分辨率大小与获取图像的设施有密切的关系，其中图像传感器的参数和光学制造技术决定了图像的分辨率大小，通过提高图像设备硬件水平会带来巨大的经济成本。获取图像质量还受到拍摄环境距离等不可控因素的影响，通过提高拍摄的硬件水平以及改善拍摄的环境方式来解决图像分辨率问题的能力有限。除了通过硬件方式提高图像分辨率，还可以在获取数字图像之后，再将低分辨率图像使用算法重建出其对应的高分辨率图像。超分辨率技术优势在于摆脱了图像获取设备的硬件条件限制，可以使用软件的方法重建高分辨率图像。超分辨率技术本质上是对图像高频信息的预测，由于深度卷积网络结构的特殊性，其在信息预测方面具有天然的优势，得到的高分辨率图像具有不错的视觉效果。传统的深度卷积网络虽然可以完成超分辨率的重建工作，但存在单一标签监督而导致的预测结果与真实图像信息不符，网络结构过于复杂，计算速度慢等问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，由此解决现有技术对图像高频信息预测准确率不高，网络结构复杂，计算速度慢的问题。本专利技术提供了一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，其特征在于，包括如下步骤：(1)对输入低分辨率图像进行通道分解后获得Y通道图像、Cb通道图像和Cr通道图像；(2)分别对所述Cb通道图像和所述Cr通道图像进行重建后获得Cb通道重建高分辨率图像和Cr通道重建高分辨率图像；(3)使用训练好的基于多尺度标签的亚像素卷积网络实现对所述Y通道图像的超分辨率重建；(4)对Cb通道重建高分辨率图像、Cr通道重建高分辨率图像以及重建后的Y通道图像进行融合处理，获得基于多尺度标签的亚像素卷积图像超分辨率图像。更进一步地，步骤(3)具体为：(3.1)对Y通道图像进行特征提取后获得初级特征图；(3.2)对初级特征图进一步提取图像特征得到高级特征图；(3.3)对高级特征图进行上采样处理；(3.4)对经过上采样处理后的高级特征图进行重建，得到2倍超分辨率重建结果；(3.5)对分辨率提升一倍后的高级特征图进行残差模块处理后获得高级残差特征图；(3.6)使用256个大小为(2n-1)×(2n-1)的卷积模板对步骤(3.1)得到的初级特征图进行卷积操作，得到具有256个通道的特征图；将具有256个通道的特征图进行亚像素卷积处理，即对256个通道进行特征重排，得到具有64个通道的特征图，该特征图长宽各扩大一倍，特征图分辨率提升2倍；(3.7)将步骤(3.6)中得到的具有64个通道的特征图与步骤(3.5)得到的高级残差特征图进行融合，并将融合后的特征图进行上采样处理，实现对所述Y通道图像的超分辨率重建。由于该过程中融合了不同尺度的特征图，故称为跳跃连接结构。更进一步地，步骤(3.1)中所述初级特征图是指低分辨率图像经过特征提取结构提取特征后所得到的与输入图像有相同大小、具有64个通道的特征图。更进一步地，在步骤(3.1)中，采用卷积的方式对Y通道图像进行特征提取，具体包括：使用64个大小为(2n-1)×(2n-1)的卷积模板在低分辨率图像上进行步长为1的卷积操作，并对输入图像的边缘用0进行填充后再使用PReLu函数进行非线性激活后获得初级特征图；其中，n为卷积核大小；PReLu函数为：xi为激活函数输入，α为经过训练的参数。更进一步地，步骤(3.2)中所述高级特征图是指初级特征图经由残差模块处理后得到的与原图像有相同大小具有64个通道的特征图。更进一步地，步骤(3.3)具体为：使用256个大小为(2n-1)×(2n-1)的卷积模板对高级特征图进行卷积操作，将高级特征图的通道个数调整为256个，并将高级特征图的256个通道中每4个相邻的通道分为1组，共计64组；每组特征图通道相同位置上的像素值按照通道顺序进行重新排列，即将每组内的4幅特征图融合为1张特征图，高级特征图的长宽分别变为原来的2倍；通道个数减少为先前的四分之一变为64个，高级特征图的分辨率提升了一倍。更进一步地，步骤(3.5)具体为：采用3个大小为(2n-1)×(2n-1)的卷积模板对分辨率提升一倍后的高级特征图进行卷积操作，得到Y通道的2倍超分辨率重建结果。更进一步地，步骤(3)中，所述亚像素卷积网络采用多尺度标签监督训练方法进行训练，具体为：(1)经过第一个重建结构所得到的2倍超分辨率重建图像，使用2倍标签进行监督训练，该部分监督训练过程主要作用于网络的前半部分，可以辅助整体网络的训练，进而实现多尺度标签训练；(2)经过第二个重建结构所得到的4倍超分辨率重建图像，使用4倍标签进行监督训练，该部分作为整体网络的主要监督训练标准，作用于整个网络。更进一步地，训练过程中的损失函数是基于均方误差损失函数，由放大2倍的损失Loss×2(Θ)以及放大4倍的损失Loss×4(Θ)组成。更进一步地，所述损失函数为：L(Θ)＝Loss×4(Θ)+λ·Loss×2(Θ)；放大2倍的损失与放大4倍的损失计算公式如下：其中，XHR×2为放大2倍的高分辨率图像，表示放大2倍的高分辨率图像第i行第j列的像素值。λ为权重系数，在实际训练的过程中λ＝1，即赋予2倍损失及4倍损失相同的权重；XHR×4为放大4倍的高分辨率图像，表示放大4倍的高分辨率图像第i行第j列的像素值。YLR为输入的低分辨率图像，F×2(YLR；Θ)为经过超分辨率网络的输出的放大2倍的重建图像，F×4(YLR；Θ)为经过超分辨率网络的输出的放大4倍的重建图像，Θ为网络的参数，M、N分别为输入低分辨率图像的长度和宽度；i，j分别表示图像的第i行第j列。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术方法使用亚像素卷积网络完成图像上采样过程，使用亚像素卷积结构，对特征进行周期性排列得到高分辨率图像，极大的简化了网络，大大减少了计算的复杂度，算法速度得到大幅度提升。(2)本专利技术使用多尺度标签监督训练，在网络的不同位置进行监督训练，有效地防止训练过程中出现梯度消失或者梯度弥散。可以提升算法预测的准确度以及加速模型收敛速度。本专利技术构建的损失函数由2倍超分辨率图像损失和4倍超分辨率图像损失两部分损失组成，综合考虑不同尺度图像的预测结果，极大地缩短了模型的训练时间，所得到的高分辨率图像更加符合人类视觉特点。附图说明图1是本专利技术实施例提供的图像超分辨率重建方法的流程图；图2是本专利技术实施例提供的低分辨率图像；图3(a)是本专利技术实施例提供的Y通道分解图；图3(b)是本专利技术实施例提供的Cb通道分解图；图3(c)是本专利技术实施例提供的Cr通道分解图；图4(a)是本专利技术实施例提供的Cb通道图像超分辨率重建结果图；图4(b)是本专利技术实施例提供的Cr通道图像超分辨率重建结果图；图5是本专利技术实施例提供的PReLU函数曲线示意图；图6是本专利技术实施例提供的残差结构示意图；图7是本专利技术实施例提供的亚像素卷积操作示意图；图8是本专利技术实施本文档来自技高网...

【技术保护点】
1.一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，其特征在于，包括如下步骤：(1)对输入低分辨率图像进行通道分解后获得Y通道图像、Cb通道图像和Cr通道图像；(2)分别对所述Cb通道图像和所述Cr通道图像进行重建后获得Cb通道重建高分辨率图像和Cr通道重建高分辨率图像；(3)使用训练好的基于多尺度标签的亚像素卷积网络实现对所述Y通道图像的超分辨率重建；(4)对Cb通道重建高分辨率图像、Cr通道重建高分辨率图像以及重建后的Y通道图像进行融合处理，获得基于多尺度标签的亚像素卷积图像超分辨率图像。

【技术特征摘要】
1.一种基于多尺度标签的亚像素卷积图像超分辨率重建方法，其特征在于，包括如下步骤：(1)对输入低分辨率图像进行通道分解后获得Y通道图像、Cb通道图像和Cr通道图像；(2)分别对所述Cb通道图像和所述Cr通道图像进行重建后获得Cb通道重建高分辨率图像和Cr通道重建高分辨率图像；(3)使用训练好的基于多尺度标签的亚像素卷积网络实现对所述Y通道图像的超分辨率重建；(4)对Cb通道重建高分辨率图像、Cr通道重建高分辨率图像以及重建后的Y通道图像进行融合处理，获得基于多尺度标签的亚像素卷积图像超分辨率图像。2.如权利要求1所述的亚像素卷积图像超分辨率重建方法，其特征在于，步骤(3)具体为：(3.1)对Y通道图像进行特征提取后获得初级特征图；(3.2)对初级特征图进一步提取图像特征得到高级特征图；(3.3)对高级特征图进行上采样处理；(3.4)对经过上采样处理后的高级特征图进行重建，得到2倍超分辨率重建结果；(3.5)对分辨率提升一倍后的高级特征图进行残差模块处理后获得高级残差特征图；(3.6)使用256个大小为(2n-1)×(2n-1)的卷积模板对步骤(3.1)得到的初级特征图进行卷积操作，得到具有256个通道的特征图；将具有256个通道的特征图进行亚像素卷积处理，即对256个通道进行特征重排，得到具有64个通道的特征图，该特征图长宽各扩大一倍，特征图分辨率提升2倍；(3.7)将步骤(3.6)中得到的具有64个通道的特征图与步骤(3.5)得到的高级残差特征图进行融合，并将融合后的特征图进行上采样处理，实现对所述Y通道图像的超分辨率重建。3.如权利要求2所述的亚像素卷积图像超分辨率重建方法，其特征在于，步骤(3.1)中所述初级特征图是指低分辨率图像经过特征提取结构提取特征后所得到的与输入图像有相同大小、具有64个通道的特征图。4.如权利要求2或3所述的亚像素卷积图像超分辨率重建方法，其特征在于，在步骤(3.1)中，采用卷积的方式对Y通道图像进行特征提取，具体包括：使用64个大小为(2n-1)×(2n-1)的卷积模板在低分辨率图像上进行步长为1的卷积操作，并对输入图像的边缘用0进行填充后再使用PReLu函数进行非线性激活后获得初级特征图；其中，n为卷积核大小；PReLu函数为：xi为激活函数输入，α为经过训练的参数。5.如权利要求2-4任一项所述的亚像素卷积图像超分辨率重建方法，其特征在于，步骤(3.2)中所述高级特征图是指初级特征图经由残差模块处理后得到的与...

【专利技术属性】
技术研发人员：邹腊梅，李长峰，罗鸣，陈婷，熊紫华，李晓光，张松伟，杨卫东，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42