基于级联回归基学习的单帧图像超分辨重建方法技术

本发明专利技术公开的基于级联回归基学习的单帧图像超分辨重建方法，包括以下步骤：以单帧低分辨图像的超分辨重建技术为研究对象，学习表征图像结构的多层超完备子字典，构造低分辨与高分辨图像的映射关系并学习优化的回归基和对应编码系数；随后对低分辨图像集实现完整的超分辨重建，并将重建的图像作为下一层的低分辨图像进行特征提取。本发明专利技术单帧图像超分辨重建方法通过统计机器学习方法，利用元字典学习方法学习得到低分辨字典，利用加权线性回归方法以一种级联的形式对重建的高分辨训练集图像和原始高分辨图像进行多层回归基学习，以逼近低分辨与高分辨图像之间复杂的非线性映射关系，实现处理速度快、内存占用少、重建质量高的实例回归超分辨重建。

【技术实现步骤摘要】
基于级联回归基学习的单帧图像超分辨重建方法
本专利技术属于图像处理方法
，具体涉及一种基于级联回归基学习的单帧图像超分辨重建方法。
技术介绍
实际应用中，成像系统受器件成本、传输带宽、计算资源以及成像环境等诸多因素的限制，所获图像分辨率往往不高，给后续的图像处理、分析和理解任务带来极大的挑战。如何获取高分辨率的数字图像是人们非常关心的课题。无疑，提高成像系统物理分辨率是获取高分辨率图像最直接有效的手段。然而，该方法受制造技术和器件成本的限制，仅限于某些特殊应用场合，不便于在实际应用中推广；而且，对许多远距离的成像领域(如视频监控和遥感成像等)，受成像环境和条件的制约，即便装配价格昂贵、分辨率级别高的成像设备，也很难获取目标区域的高分辨率影像；再如，在社交网络应用领域，如Facebook和Twitter等，如何以有限的带宽为海量用户提供高质量的影像在线服务，也是互联网领域亟待解决的课题之一；此外，随着各种低成本移动多媒体终端的日益普及，人们很容易获取大量具有应用价值的低分辨率影像资源，如何提高它们在高分辨显示设备上的兼容性，增强用户体验效果，也是视觉信息处理领域面临的一项挑战性任务。图像超分辨重建是一种有效提高图像分辨率的信号处理技术。该技术能有效克服成像设备固有分辨率的不足，突破成像环境的限制，在不改变现有成像系统的前提下，能以最低的成本获取高于成像系统物理分辨率的高质量图像，具有非常广泛的应用前景，是低质量智能安全监控系统中人脸检测与目标识别、智能机器人等的关键技术，以及多尺度、多通道图像融合技术的基础；不仅能促进光电子信息技术的发展，而且能推动物联网视频感知与智能分析技术、车联网智能交通关键技术、遥感成像技术以及移动多媒体通信技术等多个高新技术产业的进步和发展。经过30多年的研究与发展，单帧图像超分辨重建技术取得了重大进展。已有的单帧图像超分辨重建技术主要分为三种类型：基于插值的方法、基于重构的方法和基于实例学习的方法。相比基于插值的方法和基于重构的方法，基于实例学习的方法具有算法结构灵活，在高倍数放大情况下能获得更多的细节等优点，因而受到国内外广大学者的广泛关注。根据超分辨重建过程中实例样本使用方式和建立映射关系算法的不同，现有的实例学习单帧图像超分辨重建方法细分为五类：基于k-近邻(k-NN)学习的方法、基于流形学习的方法、基于超完备字典学习的方法、基于实例回归的方法和基于深度学习的方法。基于k–NN和基于流形学习的超分辨算法结构简单，但对每个输入的图像块，都需要搜索规模庞大的训练集进行相似性匹配，计算时间复杂度和空间复杂度均很高，因而超分辨重建算法无法在实际中推广应用；基于超完备字典学习的方法首先学习低分辨与高分辨图像块的超完备字典，然后求解基于-或-范数正则化最小二乘优化问题，建立低分辨与高分辨图像之间的关系，与基于k–NN和流形学习的超分辨算法相比，该超分辨重建方法不仅能重建质量更高的超分辨图像，而且能显著降低重建算法的计算时间复杂度与空间复杂度，然而，对于每个输入的低分辨图像块，基于稀疏表示的超分辨算法需要求解超完备字典的稀疏表示，当字典规模或重建图像尺寸较大时，计算时间复杂度仍然很高，与实时应用还存在相当大的差距；基于实例多线性回归的方法直接建立低分辨与高分辨特征空间之间映射关系，实现低分辨与高分辨图像之间的变换，而基于深度学习的实例学习超分辨技术通过建立低分辨与高分辨图像之间端到端的非线性映射关系能获得更高质量的超分辨图像，因而受到超分辨研究领域研究者的广泛关注。
技术实现思路
本专利技术的目的是提供一种基于级联回归基学习的单帧图像超分辨重建方法，解决了现有方法计算时间复杂度和空间复杂度高、速度慢、对字典依赖性强、重建质量低的问题。本专利技术所采用的技术方案是，基于级联回归基学习的单帧图像超分辨重建方法，包括以下步骤：步骤1，采集N个高分辨自然图像，构造低分辨特征训练集和高分辨特征训练集；步骤2，将步骤1中的低分辨特征训练集利用元字典学习算法得到低分辨字典；步骤3，提取步骤1低分辨特征训练集和高分辨特征训练集中的低分辨特征与高分辨特征，建立两者之间的线性映射关系；步骤4，在步骤3的线性映射关系中随机选择映射关系构成初始回归基，学习初始回归基和对应的相应的编码系数，随后对步骤1中的低分辨特征训练集进行超分辨重建，得到重建后低分辨训练图像集对应的高分辨训练图像集；步骤5，把步骤4的重建后低分辨训练图像集对应的高分辨训练图像集作为低分辨训练图像集，重复步骤2-4，经过T次循环后得到T个回归基和相应的编码系数矩阵其中表示第t次学习得到的回归基，αt表示与第t次得到的回归基相对应的编码系数矩阵；步骤6，输入待处理的低分辨彩色图像，构造低分辨图像测试集；步骤7，基于步骤6的低分辨图像测试集，使用步骤5的对应的回归基和编码系数矩阵，构造目标高分辨图像集；步骤8，对输入的低分辨彩色图像在YCbCr颜色空间中的两个色差分量Cb和Cr采用双立方插值放大，并结合步骤7中的目标高分辨图像集；再将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到被放大的低分辨彩色图像。本专利技术的特征还在于，步骤1具体为：采集N个高分辨自然图像构成高分辨训练图像集对N个高分辨自然图像降质，生成低分辨训练图像集随后对低分辨训练图像集进行双立方插值放大，得到插值图像，对插值图像和高分辨自然图像分别提取低分辨特征块和对应的高分辨特征块，构造出低分辨特征训练集和高分辨特征训练集；其中表示第i个高分辨自然图像，表示第i个低分辨自然图像。步骤2具体为：步骤2.1，设低分辨特征训练集为初始化一个元字典其中X中的每一个列向量xn是一个样本向量，每一个元字典原子dq是一个单位列向量且q＝1,2,…,Q、Q≤n；通过公式(1)求解目标元字典：其中，Λ是通过Γ对X的表示矩阵，参数λ是一个用于平衡F-范数项和范数项的正常数；步骤2.2，对步骤1得到的目标元字典进行更新，固定Λ更新Γ，按照公式(2)进行：其中，设Λ＝[β1；β2,…,βq,βQ]、βq为是Λ中的一个行向量且q＝1,2,…,Q；逐个元字典原子进行更新，当更新dq时，其它所有dj,j≠q固定，则有：设则公式(3)化简为：对公式(4)中使用langrage乘数并让其为0，得到又有故得到：其中||·||2表示-范数；步骤2.3，重复步骤2.2直到最大迭代次数，最后输出的字典即为低分辨字典其中表示Dl中的第q个字典原子，Q表示低分辨字典原子的个数且Q＝1024。步骤3线性映射关系具体为：其中表示第k个锚点对应的高分辨特征训练集对应的K近邻所构成的子集，表示第k个锚点对应的低分辨特征训练集对应的K近邻所构成的子集，K表示欧式距离约束的最相关的特征块且K＝2048，I表示单位矩阵，λ＝0.00001；公式(5)表示的线性映射关系，还可表示为：其中Fq,k表示第q个锚点对应的K个低分辨特征与高分辨特征近邻建立的映射关系中的第k个映射关系。步骤4具体为：步骤4.1，在得到的线性映射关系F中随机选择R个映射关系构成初始回归基其中表示中的第r个回归基，步骤4.2，利用初始回归基和步骤3的低分辨字典Dl、步骤1的低分辨特征训练集和高分辨特征训练集，不断学习回归基和相应的编码系数矩阵α，得到重构能力最本文档来自技高网...

【技术保护点】
1.基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，包括以下步骤：步骤1，采集N个高分辨自然图像，构造低分辨特征训练集和高分辨特征训练集；步骤2，将步骤1中的低分辨特征训练集利用元字典学习算法得到低分辨字典；步骤3，提取步骤1低分辨特征训练集和高分辨特征训练集中的低分辨特征与高分辨特征，建立两者之间的线性映射关系；步骤4，在步骤3的线性映射关系中随机选择映射关系构成初始回归基，学习初始回归基和对应的相应的编码系数，随后对步骤1中的低分辨特征训练集进行超分辨重建，得到重建后低分辨训练图像集对应的高分辨训练图像集；步骤5，把步骤4的重建后低分辨训练图像集对应的高分辨训练图像集作为低分辨训练图像集，重复步骤2‑4，经过T次循环后得到T个回归基

【技术特征摘要】
1.基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，包括以下步骤：步骤1，采集N个高分辨自然图像，构造低分辨特征训练集和高分辨特征训练集；步骤2，将步骤1中的低分辨特征训练集利用元字典学习算法得到低分辨字典；步骤3，提取步骤1低分辨特征训练集和高分辨特征训练集中的低分辨特征与高分辨特征，建立两者之间的线性映射关系；步骤4，在步骤3的线性映射关系中随机选择映射关系构成初始回归基，学习初始回归基和对应的相应的编码系数，随后对步骤1中的低分辨特征训练集进行超分辨重建，得到重建后低分辨训练图像集对应的高分辨训练图像集；步骤5，把步骤4的重建后低分辨训练图像集对应的高分辨训练图像集作为低分辨训练图像集，重复步骤2-4，经过T次循环后得到T个回归基和相应的编码系数矩阵其中表示第t次学习得到的回归基，αt表示与第t次得到的回归基相对应的编码系数矩阵；步骤6，输入待处理的低分辨彩色图像，构造低分辨图像测试集；步骤7，基于步骤6的低分辨图像测试集，使用步骤5的对应的回归基和编码系数矩阵，构造目标高分辨图像集；步骤8，对输入的低分辨彩色图像在YCbCr颜色空间中的两个色差分量Cb和Cr采用双立方插值放大，并结合步骤7中的目标高分辨图像集；再将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到被放大的低分辨彩色图像。2.根据权利要求1所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤1具体为：采集N个高分辨自然图像构成高分辨训练图像集对N个高分辨自然图像降质，生成低分辨训练图像集随后对低分辨训练图像集进行双立方插值放大，得到插值图像，对插值图像和高分辨自然图像分别提取低分辨特征块和对应的高分辨特征块，构造出低分辨特征训练集和高分辨特征训练集；其中表示第i个高分辨自然图像，表示第i个低分辨自然图像。3.根据权利要求1所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤2具体为：步骤2.1，设低分辨特征训练集为初始化一个元字典其中X中的每一个列向量xn是一个样本向量，每一个元字典原子dq是一个单位列向量且q＝1,2,…,Q、Q≤n；通过公式(1)求解目标元字典：其中，Λ是通过Γ对X的表示矩阵，参数λ是一个用于平衡F-范数项和范数项的正常数；步骤2.2，对步骤1得到的目标元字典进行更新，固定Λ更新Γ，按照公式(2)进行：其中，设Λ＝[β1；β2,…,βq,βQ]、βq为是Λ中的一个行向量且q＝1,2,…,Q；逐个元字典原子进行更新，...

【专利技术属性】
技术研发人员：张凯兵，王珍，李鹏飞，景军锋，刘秀平，苏泽斌，闫亚娣，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：陕西,61