一种图像超分辨率重建方法技术

本发明专利技术涉及一种图像超分辨率重建方法，属于图像处理技术领域，解决了现有技术生成图像边缘信息模糊、不能适用多种放大倍数以及重建效果差的问题。所述方法包括如下步骤：构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；用该卷积神经网络对输入的成对的LR图像和HR图像进行训练，同时进行至少两个放大尺度的训练，求得卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；训练完成后，将目标LR图像和目标放大倍数输入所述卷积神经网络，可得到目标HR图像。本发明专利技术卷积神经网络训练速度快，训练完成后可以实时得到训练尺度中任意放大倍数的HR图像。

【技术实现步骤摘要】
一种图像超分辨率重建方法
本专利技术涉及图像处理
，尤其涉及一种图像超分辨率重建方法。
技术介绍
图像超分辨率重建是一种从低分辨率(LR)图像直接恢复成高分辨率(HR)图像的方法，在很多实际应用中都需要用到，例如医学图像分析、计算机视觉、遥感等。目前，图像超分辨率重建方法主要分为三类：基于插值、基于重建、基于学习。基于插值的图像超分辨率重建方法一般比较简单，容易实现，但生成图像很难重现纹理等细节信息，较为模糊。基于重建的图像超分辨率重建方法以退化模型为基础，利用图像的先验知识进行重建，但需要复杂的图像配准和融合阶段，其准确性直接影响生成图像的质量。并且，生成图像可能过度平滑或缺乏一些重要的细节信息，在对生成图像进行放大时模糊效果更佳明显。基于学习的图像超分辨率重建方法已经成为一个研究热点。现有主流方法包括稀疏编码(SC)方法、基于卷积神经网络的超分辨率重建(SRCNN)方法。SC方法，通过训练高低分辨率字典，学习LR与HR图像之间的映射关系，但需要用到大量的高低分辨率图像块去训练高低分辨率字典，耗时较多。SRCNN方法，直接学习一种LR与HR图像之间端到端的映射关系，在隐藏层中进行字典学习和空间模型建立，在卷积层中进行图像块的提取和放大，从而避免很多前/后期处理，取得了不错的效果，但参数较多、收敛速度太慢，而且网络的使用范围不够广泛，对于不同的放大倍数要进行不同的网络训练。
技术实现思路
鉴于上述的分析，本专利技术实施例旨在提供一种图像超分辨率重建方法，用以解决现有技术生成图像边缘信息模糊、不能适用多种放大倍数以及重建效果差的问题。一方面，本专利技术实施例提供了一种图像超分辨率重建方法，包括如下步骤：构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；用所述卷积神经网络对图像训练库中成对设置的训练LR图像和训练HR图像同时进行至少2个放大尺度的训练和学习，求得所述卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；所述最优参数集包括非线性映射层的权值；共享所述非线性映射层的感受野与权值，将目标LR图像和目标放大倍数输入所述训练好的卷积神经网络，在所述HR重建层输出目标HR图像。上述技术方案的有益效果如下：在LR特征提取层，对输入LR图像进行梯度特征提取，得到LR特征图；在非线性映射层，对LR特征图进行多次非线性映射，得到HR特征图；在HR重建层，将所述梯度特征提取层输出的HR特征图进行图像重建，得到HR重建图像。针对超分辨率重建问题的病态性，在训练阶段可嵌入边缘梯度等先验信息对损失函数的空间解进行约束，可利用边缘增强算子，突出图像中的局部边缘，HR重建效果提高。采用多任务学习拓宽卷积神经网络，实现了对不同放大倍数下的卷积网络同时进行训练的效果。基于上述方法的另一个实施例中，所述卷积神经网络还包括还包括损失函数层、逻辑判断模块；所述损失函数层，用于在训练时将所述HR重建图像与所述图像训练库中对应的训练HR图像进行比较，输出HR重建损失函数；所述逻辑判断模块对所述HR重建损失函数进行收敛判断；如果收敛，则输出所述HR重建图像；如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。上述方案的有益效果是：通过收敛判断，将训练HR图像的局部边缘特征信息融入了训练过程，反馈到HR重建图像上。对HR重建损失函数进行收敛判断不仅能够监督训练过程，锐化边缘和纹理区域，而且在很大程度上提高了收敛速度，提高了实时性。进一步，所述卷积神经网络还包括HR特征提取层和HR梯度先验提取层；所述HR特征提取层，设置在所述HR重建层、损失函数层中间，用于提取HR重建图像的特征信息；所述HR梯度先验提取层，设置在损失函数层之前、与HR特征提取层并列，用于提取所述训练HR图像的梯度特征信息；所述损失函数层接受所述HR特征提取层和所述HR梯度先验提取层输出的HR边缘特征图，输出所述HR重建损失函数。上述进一步方案的有益效果是：增加了HR特征提取层和HR梯度先验提取层分别对HR重建图像和训练HR图像进行边缘特征提取，将训练HR图像的局部梯度特征反馈到HR重建图像上，从而增强HR图像边缘细节的重建效果，加速了损失函数的收敛速度，减少了训练时间。进一步，用所述卷积神经网络对输入的训练LR图像进行任一放大尺度的训练和学习的步骤包括：对输入的训练LR图像依次进行特征提取、非线性映射、HR重建，得到HR重建图像；将所述HR重建图像与训练库中对应的训练HR图像进行比较，得到HR重建误差；将所述HR重建图像与训练库中对应的训练HR图像分别进行梯度特征提取，将特征提取的结果进行比较，得到融入先验信息的损失函数；基于所述重建误差和融入先验信息的损失函数构建最终的HR重建损失函数，设置融入先验信息的损失函数为所述HR重建损失函数的正则项；对所述HR重建损失函数进行收敛判断，直到收敛为止。上述进一步方案的有益效果是：HR重建损失函数由HR重建误差和融入先验信息的损失函数(特征一致性测量误差)组成。通过将融入先验信息的损失函数作为正则项监督HR重建损失函数，可以提高收敛速度，增强HR重建图像的边缘重建效果。上述过程将梯度先验融入了训练过程，实际上是对训练数据的一种正则化手段，不仅能够监督训练过程，锐化边缘和纹理区域，而且在很大程度上提高了收敛速度，具有时效性。进一步，所述HR重建层包括初重建卷积层和亚像素卷积层；所述初重建卷积层用于改变所述非线性映射层输出的特征图的通道数；所述亚像素卷积层用于将所述初重建卷积层输出的特征图进行重新排列组合。上述进一步方案的有益效果是：HR重建层将最终的HR特征图排列组合成HR输出图像。有效地替换了SRCNN方法前期预处理过程的Bicubic插值放大滤波器，将原始LR图像直接作为卷积神经网络的输入，能够有效减少非线性映射和卷积过程的参数量，解决实时性差的问题。进一步，所述收敛判断的方法为，用随机梯度下降法和反向传播法最小化HR重建损失函数，直到收敛为止。上述进一步方案的有益效果是：采用随机梯度下降法对LR重建误差进行迭代，如果收敛，则输出LR重建图像，如果没有达到收敛，将信息流反向传播，更新参数，重新进行训练学习，直到收敛结束。所述收敛判断的方法将HR梯度先验作为指导，加速了损失函数收敛速度，增强了HR重建图像的边缘效果。而且，通过多任务学习，共享非线性映射参数，减少了计算量，利用多尺度下的图像局部信息的相关性，能够提高重建质量。进一步，所述放大尺度为LR图像分辨率的2倍、3倍、4倍；所述非线性映射层包括三个卷积层，用于将所述LR特征图通过三次卷积映射转换成HR特征图。上述进一步方案的有益效果是：训练样本越多，理论上效果越好。实际应用中，一般放大尺度为LR图像分辨率的2倍、3倍、4倍。通过非线性映射层，将所述LR特征图通过三次卷积映射转换成HR特征图，即实现了特征增多。进一步，所述HR梯度先验提取层采用采用Sobel边缘梯度算子获取训练库中HR图像在水平和垂直方向上的梯度信息。上述进一步方案的有益效果是：将该先验信息作为指导，指导网络参数往损失函数下降最快的方向进行更新，即迭代最少次数地快速获取最优参数集。进一步，所述HR重建损失函数在融入先验信息的本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括如下步骤：构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；用所述卷积神经网络对图像训练库中成对设置的训练LR图像和训练HR图像同时进行至少2个放大尺度的训练和学习，求得所述卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；所述最优参数集包括非线性映射层的权值；共享所述非线性映射层的感受野与权值，将目标LR图像和目标放大倍数输入所述训练好的卷积神经网络，在所述HR重建层输出目标HR图像。

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括如下步骤：构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；用所述卷积神经网络对图像训练库中成对设置的训练LR图像和训练HR图像同时进行至少2个放大尺度的训练和学习，求得所述卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；所述最优参数集包括非线性映射层的权值；共享所述非线性映射层的感受野与权值，将目标LR图像和目标放大倍数输入所述训练好的卷积神经网络，在所述HR重建层输出目标HR图像。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述卷积神经网络还包括损失函数层、逻辑判断模块；所述损失函数层，用于在训练时将所述HR重建图像与所述图像训练库中对应的训练HR图像进行比较，输出HR重建损失函数；所述逻辑判断模块对所述HR重建损失函数进行收敛判断；如果收敛，则输出所述HR重建图像；如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述卷积神经网络还包括HR特征提取层和HR梯度先验提取层；所述HR特征提取层，设置在所述HR重建层、损失函数层中间，用于提取HR重建图像的特征信息；所述HR梯度先验提取层，设置在损失函数层之前、与HR特征提取层并列，用于提取所述训练HR图像的梯度特征信息；所述损失函数层接受所述HR特征提取层和所述HR梯度先验提取层输出的HR边缘特征图，输出所述HR重建损失函数。4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，用所述卷积神经网络对输入的训练LR图像进行任一放大尺度的训练和学习的步骤包括：对输入的训练LR图像依次进行特征提取、非线性映射、HR重建，得到HR重建图像；将所述HR重建图像与训练库中相应的训练HR图像进行比较，得到HR重建误差；将所述HR重建图像与训练库中对应的训练HR图像分别进行梯度特征提取，将特...

【专利技术属性】
技术研发人员：程德强，蔡迎春，陈亮亮，赵凯，姚洁，于文洁，赵广源，刘海，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32