一种基于深度卷积神经网络的单幅图像超分辨率重建方法技术

本发明专利技术公开了一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：1：预处理；把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道；2：将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；3：从步骤1的预处理后的图像密集提取小块，结果作为标签；4：将通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型；5：输入低分辨率图像，经过双通道插值后利用训练好的深度卷积神经网络输出高分辨率图像。具有轻量的结构和很好的恢复质量等优点。

【技术实现步骤摘要】
一种基于深度卷积神经网络的单幅图像超分辨率重建方法
本专利技术涉及图像超分辨率重建技术，具体涉及一种基于深度卷积神经网络的单幅图像超分辨率重建方法，属于数字图像处理领域。
技术介绍
因为摄像硬件设备限制或者摄像条件等影响，会导致图像质量低下、边缘不明显。单方面地提高硬件设备的成像精度会增加产品的成本，而且也不能彻底解决成像环境的干扰。超分辨率重建技术的提出无疑是解决这一难题的最佳途径，既能合理避免因改进成像系统造成的浪费，又能有效提高图像质量。基于稀疏编码的方法是基于外部样本的图像超分辨率重建的代表性方法之一。该方法涉及几个步骤。从图像中密集地提取小块并进行预处理；将这些小块用低分辨率字典进行编码；将低分辨率字典映射为高分辨率字典，用于重建高分辨率小块；重建的小块被聚集(或平均)以产生输出。基于稀疏编码的方法需要对输入数据进行大量预处理，特别注意字典的学习和优化，并且每个步骤都需要逐一优化，没有把全部步骤当成一个完整的框架统一优化，可能面临结构复杂并且计算速度慢的挑战。近年来，由于机器学习与深度学习的飞速发展，基于学习的超分辨率重建方法取得较大进步。基于深度学习的超分辨率方法相比于传统的基于学习的超分辨率方法，具有结构简单，速度快的优点，且由于在训练阶段，基于深度学习的方法同时优化了所有操作，并且基于深度学习的方法重建出来的高分辨率图像在质量上要优于传统的基于学习的方法。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于深度卷积神经网络的单幅图像超分辨率重建方法，该方法直接学习低分辨率和高分辨率图像之间的端对端映射，映射表示为一个深度卷积神经网络，将低分辨率图像作为输入，并输出高分辨率图像。本专利技术将深度学习应用到单图像超分辨重建方法中，采用双通道分别进行三层的深度神经网络的训练，运用梯度下降法和反向传导算法不断优化网络，再用优化的网络重建出高分辨率图像。本专利技术的目的可以通过以下技术方案实现：一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：步骤1：预处理步骤：把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道，也就是亮度通道；步骤2：将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；步骤3：从步骤1的预处理后的图像密集提取小块，结果作为标签；步骤4：将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。步骤5：输入低分辨率图像，经过双通道插值后利用本专利技术训练好的深度卷积神经网络输出高分辨率图像。步骤2所述的预处理图像进行下采样后，分两个通道进行插值，通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；通道2进行最近邻插值，结果与通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；步骤4所述的深度卷积神经网络模型，在训练阶段，首先构造一个双通道，每通道分别有三层卷积层的深度卷积神经网络，三层卷积层分别是特征提取层，非线性映射层和高分辨率重建层，然后将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断训练优化网络模型。本专利技术的具体步骤可以如下：(1)预处理步骤：把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道，也就是亮度通道。(2)将步骤(1)的预处理后的图像进行下采样，然后分两个通道进行插值：(2.1)通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；(2.2)通道2进行最近邻插值，结果与通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；(3)从步骤(1)的预处理后的图像密集提取小块，结果作为标签；(4)将步骤(2)的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤(3)的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。(5)输入低分辨率图像，经过双通道插值后利用本专利技术训练好的深度卷积神经网络输出高分辨率图像。相对于现有技术，本专利技术具有如下的优点与有益效果：本专利技术的方法需要的图像预处理少；不同于传统方法分别处理每个组件，本专利技术的方法联合优化所有层；本专利技术的深度卷积神经网络具有轻量的结构，而且有很好的恢复质量，并在实际在线使用中有较快速度。附图说明图1是本专利技术图像预处理步骤的框图；图2是本专利技术预处理后的图像经过双通道插值形成双通道训练数据的框图；图3是本专利技术预处理后的图像形成标签的框图；图4是本专利技术利用训练数据和标签反复训练深度卷积神经网络的框图；图5是本专利技术利用最终训练好的深度卷积神经网络将低分辨率的输入图像转化为高分辨率的输出图像。具体实施方式下面结合附图详细解释本专利技术提出的基于深度卷积神经网络的单幅图像超分辨率重建方法。实施例一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：(1)如图1所示，图像预处理步骤包含2个过程：把输入图像从RGB颜色空间转换到YCbCr颜色空间、提取YCbCr颜色空间里面的Y通道，也就是亮度通道作为预处理图像；(2)如图2所示，把所述步骤(1)得到的预处理图像进行下采样，形成低分辨图像，然后分两个通道进行插值：(2.1)通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；(2.2)通道2进行最近邻插值，结果与所述步骤(2.1)的通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；具体地，如步骤(1)的预处理图像像素大小为255x255，经过尺度为3的下采样，图像像素大小变成85x85(低分辨率)，然后分两个通道进行插值；通道1进行双三次插值。插值后图像大小原图像大小(255x255)，然后再密集提取小块，提取小块方法可以是以步长14，大小为33x33的窗口进行提取，将这些小块作为通道1的训练数据；通道2进行最近邻插值，令插值后像素的灰度值等于距它最近的像素的灰度值，插值后图像大小为原图像大小(255x255)，然后把两个通道插值后的结果相乘作为掩码，然后再从掩码中密集提取小块，提取方法跟双三次插值提取方法一样，将这些小块作为通道2的训练数据。(3)在图3中，将所述步骤(1)的预处理后的图像进行密集提取小块，提取方法跟所述步骤(2)方法一样，将这些小块跟步骤(2)的训练数据小块一一对应作为标签；(4)在图4中，将步骤(2)的两个通道训练数据合并作为深度卷积神经网络模型输入，将步骤(3)的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。具体地，本专利技术把第一层卷积神经网络表示为操作F1：F1(X)＝max(0,W1*X+B1)，式中，X是双通道训练数据，它作为第一层卷积神经网络的输入，W1是第一层卷积神经网络的系数，*是卷积操作，将输入数据与网络系数卷积后的结果再加上偏置向量B1，然后对结果应用修正线性单位(ReLu)，它的函数为：f(x)＝max(0,x)(这里x＝W1*X+B1)。把第二层卷积神经网络表示为本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的单幅图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1、预处理；把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道；步骤2、将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；步骤3、从步骤1的预处理后的图像密集提取小块，结果作为标签；步骤4、将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型；步骤5、输入低分辨率图像，经过双通道插值后利用训练好的深度卷积神经网络输出高分辨率图像。

【技术特征摘要】
1.一种基于深度卷积神经网络的单幅图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1、预处理；把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道；步骤2、将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；步骤3、从步骤1的预处理后的图像密集提取小块，结果作为标签；步骤4、将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型；步骤5、输入低分辨率图像，经过双通道插值后利用训练好的深度卷积神经网络输出高分辨率图像。2.根据权利要求1所述的基于深度卷积神经网络的单幅图像超分辨率重建方法，其特征...

【专利技术属性】
技术研发人员：林旭斌，徐向民，贾晓义，邢晓芬，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44