基于压缩多尺度特征融合网络的图像超分辨率重建方法技术

本发明专利技术提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。实现步骤为：获取由高低分辨率图像对组成的训练样本集；构建多尺度特征融合网络；对多尺度特征融合网络进行训练；获取压缩多尺度特征融合网络；用压缩多尺度特征融合网络对待重建RGB图像进行超分辨率重建。本发明专利技术在多尺度特征融合网络中采用多个依次层叠连接的多尺度特征融合层提取低分辨图像的多尺度特征，并对其进行非线性映射，有利于提高重建后的高分辨率图像峰值信噪比和结构相似性。可用于遥感成像、公共安全、医学诊断等领域。

Image super-resolution reconstruction method based on compressed multi-scale feature fusion network

The invention proposes an image super-resolution reconstruction method based on compressed multi-scale feature fusion network, which is used to solve the technical problems of low Peak Signal-to-Noise Ratio (PSNR) and low structural similarity of the reconstructed high-resolution image in the prior art. The implementation steps are as follows: acquiring training sample set composed of high and low resolution image pairs; constructing multi-scale feature fusion network; training multi-scale feature fusion network; acquiring compressed multi-scale feature fusion network; super-resolution reconstruction of reconstructed RGB image using compressed multi-scale feature fusion network. In the multi-scale feature fusion network, multi-scale feature fusion layers connected in succession are used to extract multi-scale features of low-resolution images, and non-linear mapping is carried out to improve the peak signal-to-noise ratio and structural similarity of the reconstructed high-resolution images. It can be used in remote sensing imaging, public safety, medical diagnosis and other fields.

【技术实现步骤摘要】
基于压缩多尺度特征融合网络的图像超分辨率重建方法
本专利技术属于图像处理
，涉及一种图像超分辨率重建方法，具体涉及一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，可用于遥感成像、公共安全、医学诊断等领域。
技术介绍
图像超分辨率是指提高图像的分辨率。图像超分辨率重建方法是一种从观测到的低分辨率的图像重建出相应的高分辨率图像的方法。图像超分辨率重建的方法主要分为三类：基于插值、基于重建和基于学习的方法。近年来基于学习的方法成为图像超分辨率重建方法的主要研究方向，其主要思想是利用高低分辨率图像对作为训练样本，分别提取高低分辨率图像对的特征，利用数学模型学习对应特征之间的非线性映射关系，从而根据输入的低分辨率图像特征估计出其相应的高分辨率图像特征，进而重建出相应的高分辨率图像。但是传统的基于学习的图像超分辨率重建方法只能提取低分辨率图像中一些简单的特征，不足以充分地表征丰富的图像信息，而且仅使用浅层网络对低分辨率图像特征与高分辨率图像特征之间非线性映射关系进行拟合，无法拟合出准确的非线性映射关系，导致重建的高分辨率图像的峰值信噪比和结构相似性较低。深度神经网络由于特征提取能力强和非线性表达能力鲁棒的特性，被用于图像超分辨率重建问题，深度神经网络可以提取训练样本中高低分辨率图像中更加丰富的图像特征，并且对高低分辨率图像特征之间的非线性映射关系进行更好的拟合，从而可以使重建的高分辨率图像具有更高的峰值信噪比和结构相似性。当前，研究人员已经提出一些基于深度神经网络的图像超分辨率重建方法，例如，JiwonKim和JungKwonLee等人在2016年在ComputerVisionandPatternRecognition会议上发表的名为“Accurateimagesuper-resolutionusingverydeepconvolutionalnetworks”的文章，公开了一种基于深度卷积神经网络的图像超分辨率重建方法，该方法采用一个端到端的深度卷积神经网络提取低分辨率图像的特征，并将该特征映射为高分辨率图像特征，进而重建出高分辨率图像。这种端到端的深度神经网络采用20个卷积层级联，且在各个卷积层之后使用一个非线性激活层的结构，这种结构不仅可以用于提取低分辨图像大尺度的图像特征，这些大尺度的图像特征可以表征更加丰富的图像信息，而且可以更好地拟合高低分辨率图像特征之间的非线性映射关系，使得重建的高分辨率图像的峰值信噪比和结构相似性得到提高。但是，事实上，低分辨率图像中包含不同尺度的特征，而上述端到端的深度卷积神经网络只能提取低分辨率图像的单一尺度的特征，导致提取的特征丢失了低分辨率图像的部分细节信息和结构信息，使得重建的高分辨率图像的峰值信噪比和结构相似性还有待提高。
技术实现思路
本专利技术的目的在于克服上述已有技术存在的不足，提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。本专利技术的技术思路是，采用多尺度特征融合网络中的多尺度特征融合层提取低分辨率图像的多个尺度的特征，以表征低分辨率图像中更丰富的细节信息以及更完整的结构信息，并且将多个多尺度特征融合层依次层叠连接以进一步提高网络对高低图像分辨率图像特征之间非线性映射关系的拟合能力，从而解决了重建的高分辨率图像的峰值信噪比和结构相似性较低的问题。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取训练样本集：(1a)从数据库中提取p幅RGB图像，并对每幅图像进行旋转和尺度变换，得到q幅RGB图像，其中p≥1，q＞p；(1b)对q幅RGB图像进行格式转换，并从得到的q幅YCbCr图像中各提取一幅Y通道图像，得到q幅Y通道图像，并对q幅Y通道图像进行编号，得到q幅带编号的Y通道图像；(1c)对q幅带编号的Y通道图像分别进行模糊处理，得到q幅带编号的低分辨率图像；(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对，得到q个高低分辨率图像对，其中i＝1...q；(1e)对q个高低分辨率图像对分别进行裁剪，并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，N，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N≥q，c≥15；(2)构建多尺度特征融合网络：构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，8≤H≤12，其中：所述输入层，用于接收高低分辨率图像对；所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括n个并行的第三卷积层，n≥2，每个第三卷积层中的卷积核尺寸相等，且不同第三卷积层中的卷积核尺寸不等；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层；所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为d*d，3≤d≤5；所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)；(3)对多尺度特征融合网络进行训练：(3a)对多尺度特征融合网络进行初始化，得到初始化的多尺度特征融合网络；(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，得到训练后的多尺度特征融合网络Net1；(4)获取压缩多尺度特征融合网络：(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2；(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化，并对初始化后的多尺度特征融合网络Net2进行微调，得到压缩多尺度特征融合网络；(5)对待重建RGB图像进行超分辨率重建：(5a)对待重建RGB图像进行格式转换，得到待重建YCbCr图像；(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像，得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像；(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络，得到待重建YCbCr图像的Y通道残差图像；(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加，得到重建高分辨率YCbCr图像的Y通道图像；(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合，得到重建高分辨率YCbCr图像，并对重建高分辨率YCbCr图像进行格式转换，得到重建高分辨率RGB图像。本专利技术与现有技术相比，具有如下优点：本专利技术在多尺本文档来自技高网...

【技术保护点】
1.一种基于压缩多尺度特征融合网络的图像超分辨重建方法，其特征在于，包括如下步骤：(1)获取训练样本集：(1a)从数据库中提取p幅RGB图像，并对每幅图像进行旋转和尺度变换，得到q幅RGB图像，其中p≥1，q＞p；(1b)对q幅RGB图像进行格式转换，并从得到的q幅YCbCr图像中各提取一幅Y通道图像，得到q幅Y通道图像，并对q幅Y通道图像进行编号，得到q幅带编号的Y通道图像；(1c)对q幅带编号的Y通道图像分别进行模糊处理，得到q幅带编号的低分辨率图像；(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对，得到q个高低分辨率图像对，其中i＝1...q；(1e)对q个高低分辨率图像对分别进行裁剪，并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，N，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N≥q，c≥15；(2)构建多尺度特征融合网络：构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，8≤H≤12，其中：所述输入层，用于接收高低分辨率图像对；所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括n个并行的第三卷积层，n≥2，每个第三卷积层中的卷积核尺寸相等，且不同第三卷积层中的卷积核尺寸不等；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层；所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为d*d，3≤d≤5；所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)；(3)对多尺度特征融合网络进行训练：(3a)对多尺度特征融合网络进行初始化，得到初始化的多尺度特征融合网络；(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，得到训练后的多尺度特征融合网络Net1；(4)获取压缩多尺度特征融合网络：(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2；(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化，并对初始化后的多尺度特征融合网络Net2进行微调，得到压缩多尺度特征融合网络；(5)对待重建RGB图像进行超分辨率重建：(5a)对待重建RGB图像进行格式转换，得到待重建YCbCr图像；(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像，得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像；(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络，得到待重建YCbCr图像的Y通道残差图像；(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加，得到重建高分辨率YCbCr图像的Y通道图像；(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合，得到重建高分辨率YCbCr图像，并对重建高分辨率YCbCr图像进行格式转换，得到重建高分辨率RGB图像。...

【技术特征摘要】
2017.12.29 CN 20171147063961.一种基于压缩多尺度特征融合网络的图像超分辨重建方法，其特征在于，包括如下步骤：(1)获取训练样本集：(1a)从数据库中提取p幅RGB图像，并对每幅图像进行旋转和尺度变换，得到q幅RGB图像，其中p≥1，q＞p；(1b)对q幅RGB图像进行格式转换，并从得到的q幅YCbCr图像中各提取一幅Y通道图像，得到q幅Y通道图像，并对q幅Y通道图像进行编号，得到q幅带编号的Y通道图像；(1c)对q幅带编号的Y通道图像分别进行模糊处理，得到q幅带编号的低分辨率图像；(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对，得到q个高低分辨率图像对，其中i＝1...q；(1e)对q个高低分辨率图像对分别进行裁剪，并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，N，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N≥q，c≥15；(2)构建多尺度特征融合网络：构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，8≤H≤12，其中：所述输入层，用于接收高低分辨率图像对；所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括n个并行的第三卷积层，n≥2，每个第三卷积层中的卷积核尺寸相等，且不同第三卷积层中的卷积核尺寸不等；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层；所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为d*d，3≤d≤5；所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)；(3)对多尺度特征融合网络进行训练：(3a)对多尺度特征融合网络进行初始化，得到初始化的多尺度特征融合网络；(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，得到训练后的多尺度特征融合网络Net1；(4)获取压缩多尺度特征融合网络：(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2；(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始...

【专利技术属性】
技术研发人员：邓成，樊馨霞，许洁，李泽宇，杨延华，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61