基于稀疏表示和深度学习的图像超分辨率重建方法技术

本发明专利技术公开了一种基于稀疏表示和深度学习的图像超分辨率重建方法，解决了图像超分过程计算复杂，重建图像质量差的问题。实现步骤包括：收集提取训练数据块，色度和亮度字典联合优化训练；高分辨率图像块独立重构；稀疏表示的高分辨率图像重构；基于深度学习训练残差网络优化高频细节；图像超分辨率重建。本发明专利技术为防止边缘效应和模糊效应将色度和亮度数据区分独立重构，为优化稀疏表示输出高分辨率图像的高频细节信息，将基于稀疏表示重构的高分辨率图像输入残差网络，经4次卷积提取特征，特征融合输出高频残差图与输入按位相加重构超分辨率图像。本发明专利技术计算复杂度低，图像重建质量高，广泛用于遥感监测、犯罪侦查、交通管理等领域。

Image super-resolution reconstruction based on sparse representation and depth learning

【技术实现步骤摘要】
基于稀疏表示和深度学习的图像超分辨率重建方法
本专利技术属于图像处理
，具体涉及超分辨率图像重建，具体是一种基于稀疏表示和深度学习的图像超分辨重建方法。用于遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别、高清视频信号等应用中。
技术介绍
图像获取过程中,由于成像距离、成像设备分辨率等因素的限制,成像系统难以无失真地获取原始场景中的信息，成像系统通常会受到变形、模糊、降采样和噪声等诸多因素的影响,从而导致获取图像质量的下降。因此,如何提高图像的空间分辨率,改善图像质量,一直以来都是成像
亟待解决的问题。超分辨率重建技术是指通过图像处理算法来获得在成像系统分辨率极限之上的更高分辨率图像，其实现成本相较于减小成像系统像素尺寸和改变探测元排列方式等要低廉得多。为了获得更为精确和鲁棒的图像处理结果，通常需要通过从一幅或多幅具有互补信息的低分辨率图像中估计或合成出高分辨率图像。压缩感知理论指出，一幅图像能够在非常苛刻的条件下由它的一组稀疏表示系数在超完备字典上得到精确重建，本文基于稀疏表示和深度学习来实现单幅图像超分辨重建。信号稀疏表示理论及其应用研究的发展是伴随着压缩感知理论和机器学习研究进步取得的。稀疏理论源于神经科学，是机器学习和压缩感知理论中的重要组成部分。借鉴了压缩感知的思想，通过对大量低分辨率图像和高分辨率图像的稀疏表示和训练降维，实现超分辨率在整个学习样本空间的优化求解。一方面保证了足够的先验知识，减少了重构时所需的数据，提高了效率；另一方面有效克服了领域嵌入方法的过拟合或欠拟合现象。基于稀疏字典的图像超分辨率复原方法取得了较好的图像重建质量.但是,稀疏编码和重建过程需要多次迭代,算法复杂度较大，且基于稀疏表示重建出的高分辨率图像高频细节信息不够丰富。针对基于传统学习方法的不足，深度学习引起了广泛关注，它的出现弥补了传统浅层学习方法的不足。国内外学者借鉴深度学习在图像分类及图像分割等任务中的成功经验,提出了基于深度学习的图像超分辨率复原方法。在基于深度学习的超分辨率复原方法中,深度网络结构的设计需要参照传统SR方法的思想和方案。结合深度网络的优势,基于深度学习的SR方法在网络结构与类型设计、先验信息结合方式及训练策略等方面做出贡献,并且提升了图像超分辨率复原的主客观质量。图像稀疏理论与超分辨算法结合具有重要的实际和理论价值。该技术不但可以改进图像的视觉效果，而且对图像的后续处理如特征提取、信息识别等具有十分重要的意义，例如在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别、高清视频信号等应用中，图像超分辨重建就为其提供了丰富的细节信息。因此本专利技术结合稀疏表示和深度学习进行图像超分辨率重建。综上：基于传统的稀疏表示重建出的高分辨率图像高频细节信息不够丰富，恢复图像性能差；原始深度学习网络结构中时间、计算复杂度大，且残差网络通过双三次插值恢复超分辨率图像性能差。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种时间、计算复杂度低且PSNR值高的基于稀疏表示和深度学习的图像超分辨率重建方法。本专利技术是一种基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于，包括如下步骤：(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取亮度信息Y和色度信息UV并各自分割形成相同分辨率的高分辨率图像样本块Xh和低分辨率图像样本块Xl；(2)色度和亮度的字典联合优化训练：采用亮度信息和色度信息不同通道样本数据为训练前提，根据稀疏表示理论及字典学习，通过四个梯度算子提取低分辨率图像块Xl特征，并结合相同位置高分辨率特征合并成向量得到训练样本集，用此样本集作为训练字典的输入，通过传统稀疏表示理论法训练分别得到高分辨率字典Dh和低分辨率字典Dl；通过求解最小约束公式合并和更新高、低分辨率字典，分别得到色度和亮度通道对应的高分辨率字典Dh和低分辨率字典Dl；(3)色度和亮度的高分辨率图像块独立重构：利用高分辨率字典Dh和低分辨率字典Dl将测试数据库中低分辨率图像块Yl转换为对应的高分辨率图像块Yh；(4)基于稀疏表示的高分辨率图像重构：将所述高分辨率图像块Yh组合成为重建的高分辨率图像IHR；(5)基于深度学习训练残差网络优化高频细节：优化基于稀疏表示重建的高分辨率图像IHR，将其输入至残差网络经过卷积层卷积得到特征图，将各层特征图融合输出高频残差细节图像，通过反向梯度传播减小输出图像与真实图像误差，更新和优化高频细节残差图；(6)图像超分辨率重建：将基于稀疏表示重建高分辨率图像与网络优化高频细节残差图重构输出超分辨率图像，通过反向梯度传播减小输出图像与训练库中高分辨率图像的误差，更新和优化高频细节残差图，即更新超分辨率图像，此超分辨率图像保留更佳丰富的高频细节信息。本专利技术有效的将稀疏表示与深度学习结合起来处理图像超分辨率重构问题，在提升图像质量性能的同时保证时间、计算复杂度。与现有技术相比，本专利技术的有益之处在于：本专利技术在权衡计算效率和图像质量前提下，将传统的基于稀疏表示方法中色度和亮度信息独立计算分别进行超分辨重建，重构高分辨率图像，抑制仅对亮度信息做超分辨重建，色度信息仅做双三次插值重建所带来的颜色块效应或模糊现象，进而提升图像质量性能；本专利技术在基于稀疏表示重构的高分辨率图像基础上采用残差网络训练优化高频细节残差图，通过卷积提取输入的高分辨率图像的特征图，并将所得特征图融合，在有效迭代次数下，通过反向梯度计算损失函数，更新修正高分辨率的高频细节信息，输出高质量的高频细节残差图，进而提升图像质量性能；残差网络仅采用4层卷积和特征融合相加的计算方式，网络层数少且仅通过卷积计算，计算量大大减少，计算效率有效提升，时间和计算复杂度低，保证算法有效性。附图说明图1为本专利技术图像超分辨率流程框图；图2(a)为原始高分辨率图像；图2(b)为采用双线性插值方法处理后所得图像；图2(c)为采用稀疏表示重建法处理后所得图像；图2(d)采用VDSR网络重建法处理后所得图像；图2(e)为采用深度学习残差网络处理后所得图像；图2(f)为采用本专利技术处理后所得图像。具体实施方式为了便于理解本专利技术，下面结合附图和具体实施例，对本专利技术详细说明。实施例1图像相比于文字含有更多的信息，且可以很直观的提供给人类信息，在遥感监测、军事侦察、交通等应用中，图像超分辨重建为其提供了丰富的细节信息，但是目前基于传统的稀疏表示重建出的高分辨率图像高频细节信息不够丰富，具有边缘效应，恢复图像性能差；原始深度学习网络结构庞大，层数复杂导致时间、计算复杂度大，且基于深度学习的残差网络通过双三次插值恢复超分辨率图像性能差。针对这些问题本专利技术展开研究，提出一种基于稀疏表示和深度学习的图像超分辨率重建方法，参见图1，包括如下步骤，收集训练数据库，训练样本块提取，字典联合训练，高分辨率图像重构，基于深度学习训练残差网络优化高频细节，图像超分辨重建。(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取所有输入图像的亮度信息Y和色度信息UV并各自分割形成相同分辨本文档来自技高网...

【技术保护点】
1.一种基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于，包括如下步骤，(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取亮度信息Y和色度信息UV并各自分割形成相同分辨率的高分辨率图像样本块Xh和低分辨率图像样本块Xl；(2)色度和亮度的字典联合优化训练：采用亮度信息和色度信息不同通道样本数据为训练前提，根据稀疏表示理论及字典学习，通过四个梯度算子提取低分辨率图像块Xl特征，并结合相同位置高分辨率特征合并成向量得到训练样本集，用此样本集作为训练字典的输入，通过传统稀疏表示理论法训练分别得到高分辨率字典Dh和低分辨率字典Dl；通过求解最小约束公式合并和更新高、低分辨率字典，分别得到色度和亮度通道对应的高分辨率字典Dh和低分辨率字典Dl；(3)色度和亮度的高分辨率图像块独立重构：利用高分辨率字典Dh和低分辨率字典Dl将测试数据库中低分辨率图像块Yl转换为对应的高分辨率图像块Yh；(4)基于稀疏表示的高分辨率图像重构：将所述高分辨率图像块Yh组合成为重建的高分辨率图像IHR；(5)基于深度学习训练残差网络优化高频细节：优化基于稀疏表示重建的高分辨率图像IHR，将其输入至残差网络经过卷积层卷积得到特征图，将各层特征图融合输出高频残差细节图像，通过反向梯度传播减小输出图像与真实图像误差，更新和优化高频细节残差图；(6)图像超分辨率重建：将基于稀疏表示重建高分辨率图像与网络优化高频细节残差图重构输出超分辨率图像，此超分辨率图像保留更佳丰富的高频细节信息。...

【技术特征摘要】
1.一种基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于，包括如下步骤，(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取亮度信息Y和色度信息UV并各自分割形成相同分辨率的高分辨率图像样本块Xh和低分辨率图像样本块Xl；(2)色度和亮度的字典联合优化训练：采用亮度信息和色度信息不同通道样本数据为训练前提，根据稀疏表示理论及字典学习，通过四个梯度算子提取低分辨率图像块Xl特征，并结合相同位置高分辨率特征合并成向量得到训练样本集，用此样本集作为训练字典的输入，通过传统稀疏表示理论法训练分别得到高分辨率字典Dh和低分辨率字典Dl；通过求解最小约束公式合并和更新高、低分辨率字典，分别得到色度和亮度通道对应的高分辨率字典Dh和低分辨率字典Dl；(3)色度和亮度的高分辨率图像块独立重构：利用高分辨率字典Dh和低分辨率字典Dl将测试数据库中低分辨率图像块Yl转换为对应的高分辨率图像块Yh；(4)基于稀疏表示的高分辨率图像重构：将所述高分辨率图像块Yh组合成为重建的高分辨率图像IHR；(5)基于深度学习训练残差网络优化高频细节：优化基于稀疏表示重建的高分辨率图像IHR，将其输入至残差网络经过卷积层卷积得到特征图，将各层特征图融合输出高频残差细节图像，通过反向梯度传播减小输出图像与真实图像误差，更新和优化高频细节残差图；(6)图像超分辨率重建：将基于稀疏表示重建高分辨率图像与网络优化高频细节残差图重构输出超分辨率图像，此超分辨率图像保留更佳丰富的高频细节信息。2.根据权利要求1中所述的基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于：步骤2中所述的字典联合训练，根据下式进行训练：为了满足两个字典在稀疏表示下的同构性及不同通道的差异性，保证稀疏矩阵相同条件下，合并上述两式需要求解最小约束公式：其中，i代表y,cb,cr三个通道，N和M分别表示高低图像样本特征块的...

【专利技术属性】
技术研发人员：张静，于露露，李云松，尹雅平，王卓，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61