一种基于小波变换和卷积神经网络的图像超分辨率重建方法技术

本发明专利技术公开了一种基于小波变换和卷积神经网络的图像超分辨率重建方法：在训练阶段，对训练数据集中的高分辨率图像Ih进行高斯滤波以及降采样处理生成低分辨率图像Il；对Ih做单尺度二维离散小波变换提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH等四个频率成分；将Il作为输入数据、Ih的四个频率成分分别作为标签，训练四个卷积神经网络模型。在超分辨率重建阶段，将低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的四个频率成分并对其作单尺度二维离散小波反变换生成高分辨率图像Ih。该方法从不同频率上对图像进行超分辨率重建，充分利用卷积神经网络的学习能力，显著增强超分辨率重建效果。

An image super resolution reconstruction method based on wavelet transform and convolutional neural network

The invention discloses a super resolution image wavelet transform and convolution neural network reconstruction method based on: in the training phase, the Gauss filter of high resolution Ih image training data and generate a low resolution image down sampling processing Il; on Ih single scale two-dimensional discrete wavelet transform to extract the low frequency component and low frequency level FLL the vertical high-frequency component of the level of FLH and high frequency vertical low frequency components FHL and diagonal high-frequency components FHH four frequency components; the Il as the four frequency components are used as input data, Ih tags, training four convolution neural network model. In the super-resolution reconstruction phase, low resolution image Il input by four trained convolutional neural network model generated four frequency components of the high resolution image and single scale two-dimensional discrete wavelet inverse transform to generate high resolution images of the Ih. This method can reconstruct super-resolution images from different frequencies and make full use of the learning ability of convolutional neural networks, which can significantly enhance the super-resolution reconstruction effect.

【技术实现步骤摘要】
一种基于小波变换和卷积神经网络的图像超分辨率重建方法
本专利技术涉及图像超分辨率重建技术，尤其涉及一种基于小波变换和卷积神经网络的图像超分辨率重建方法。
技术介绍
人们运用数字信号处理技术从一帧或者多帧低分辨率图像中重构出高分辨率图像的过程叫做图像超分辨率重建。图像超分辨率重建能解决由于数字图像采集设备固有的分辨率级别限制导致的硬件设备成像分辨率较低的问题。除此之外，图像超分辨率重建还能解决由于各种复杂应用环境导致的图像细节缺失、噪声和欠采样等影响图像分辨率的问题。图像超分辨率重建在克服硬件设备限制和应用环境多变等困难的同时能够切实有效地提高图像的分辨率，节约各个应用领域的生产成本。基于机器学习的图像超分辨率重建是当前人们用于解决图像超分辨率重建问题的主流方法，比如基于稀疏字典表示的图像超分辨率重建、基于卷积神经网络的图像超分辨率重建和基于生成对抗网络的图像超分辨率重建等。上述经典图像超分辨率重建方法都需要从大训练数据集中学习图像先验，然而单一的稀疏字典模型、卷积神经网络模型或者生成对抗网络模型的学习能力并不足以容纳训练数据集中的图像先验。因此，采用单一的机器学习模型不能实现最优的图像超分辨率重建效果。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。鉴于此，本专利技术提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法，以至少解决现有的图像超分辨率重建方法因算法自身的学习能力有限而导致其超分辨率重建效果不能达到最优的问题。根据本专利技术的一个方面，提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法，该方法包括：在训练阶段：对训练数据集中的高分辨率图像Ih进行高斯滤波及降采样处理生成对应的低分辨率图像Il；对高分辨率图像Ih做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH等四个频率成分；以低分辨率图像Il作为输入数据，以高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH分别作为标签，训练四个卷积神经网络模型。在超分辨率重建阶段：将给定的测试低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH；对上述高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像Ih。通过以上描述可知，本专利技术的一种基于小波变换和卷积神经网络的图像超分辨率重建方法，其一方面采取频域聚类的方式，从四个不同的频率成分上对图像进行超分辨率重建，能够使得卷积神经网络模型专门学习低分辨率图像到某一频率成分的映射；另一方面，该方法采用四个三层的卷积神经网络模型根据低分辨率图像生成高分辨率图像的四个频率成分，进而通过对四个频率成分进行单尺度二维离散小波反变换生成高分辨率图像，能够充分利用卷积神经网络模型的学习能力，使得超分辨率重建效果相对现有技术大大改善。附图说明本专利技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，用来进一步举例说明本专利技术的原理。在附图中：图1A表示的是本专利技术一种基于小波变换和卷积神经网络的图像超分辨率重建方法所用的卷积神经网络模型的训练过程。图1B表示的是本专利技术一种基于小波变换和卷积神经网络的图像超分辨率重建方法的图像超分辨率重建过程；具体实施方式在下文中将结合附图对本专利技术的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是理性的任务。还需要说明的一点是，为了避免因不必要的细节而模糊了本专利技术，在附图中仅仅示出了与根据本专利技术的方案密切相关的处理步骤，而忽略了与本专利技术关系不大的细节。本专利技术的实施例提供了一种基于小波变换和卷积神经网络的图像超分辨率重建方法，该方法包括：在训练阶段：对训练数据集中的高分辨率图像Ih进行高斯滤波及降采样处理生成对应的低分辨率图像Il；对高分辨率图像Ih做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH等四个频率成分；以低分辨率图像Il作为输入数据，以高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH分别作为标签，训练四个卷积神经网络模型。在超分辨率重建阶段：将给定的测试低分辨率图像Il输入四个经训练得到的卷积神经网络模型中生成高分辨率图像的低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH；对上述高分辨率图像的四个频率成分做单尺度二维离散小波反变换生成高分辨率图像Ih。下面结合图1A来描述本专利技术一种基于小波变换和卷积神经网络的图像超分辨率重建方法所用的卷积神经网络模型的训练过程。如图1A所示，卷积神经网络模型的训练过程起始于步骤011：在步骤011中，对训练数据集中的高分辨率图像Ih进行高斯滤波及降采样处理生成对应的低分辨率图像Il，其中高斯滤波器为σ是高斯滤波器的标准差；在步骤012中，对训练数据集中的高分辨率图像Ih做单尺度二维离散小波变换提取其低频分量FLL＝HIhH*，水平低频垂直高频成分FLH＝GIhH*，水平高频垂直低频成分FHL＝HIhG*，对角方向高频分量FHH＝GIhG*，其中H和G分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵，且H和G满足HH*+GG*＝I，上标符号*表示矩阵的共轭转置；在步骤013中，以步骤011中生成的低分辨率图像Il作为输入数据，以步骤012中生成的FLL、FLH、FHL和FHH作为标签，训练四个卷积神经网络模型，模型结构如下所述：第一层包含一个卷积层(Conv.1)和一个激活层(Relu.1)，该层的输出结果为Y1(Il)＝max(0,W1*Il+B1)，W1表示第一卷积层的卷积核，包含n1个大小为s1×s1的卷积核，*表示卷积操作，B1表示第一卷积层的偏置向量，f(x)＝max(0,x)表示激活层的激活函数；第二层包含一个卷积层(Conv.2)和一个激活层(Relu.2)，该层的输出结果为Y2(Il)＝max(0,W2*Y1(Il)+B2)，W2表示第二卷积层的卷积核，包含n2个大小为s2×s2的卷积核，B2表示第二卷积层的偏置向量；第三层包含一个卷积层(Conv.3)，该层的输出结本文档来自技高网...

【技术保护点】
一种基于小波变换和卷积神经网络的图像超分辨率重建方法，其特征在于，所述图像超分辨率重建方法包括以下步骤：步骤一：将训练数据集中的高分辨率图像Ih进行高斯滤波以及降采样处理生成对应的低分辨率图像Il；步骤二：将训练数据集中的高分辨率图像Ih按照公式(1)做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH等四个频率成分：

【技术特征摘要】
1.一种基于小波变换和卷积神经网络的图像超分辨率重建方法，其特征在于，所述图像超分辨率重建方法包括以下步骤：步骤一：将训练数据集中的高分辨率图像Ih进行高斯滤波以及降采样处理生成对应的低分辨率图像Il；步骤二：将训练数据集中的高分辨率图像Ih按照公式(1)做单尺度二维离散小波变换以提取其低频分量FLL、水平低频垂直高频成分FLH、水平高频垂直低频成分FHL和对角方向高频分量FHH等四个频率成分：H和G分别为一维尺度函数和一维小波函数对应的滤波器系数矩阵，且H和G满足HH*+GG*＝I...

【专利技术属性】
技术研发人员：任鹏，孙文健，王廷伟，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37