基于表征学习与邻域约束嵌入的图像超分辨重构方法技术

本发明专利技术公开了一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，解决了特征提取的不准确及固定的邻域大小的问题。主要步骤为：对一组训练样例图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；输入低分辨率测试图像，对输入的低分辨率测试图像进行分块并提取特征；计算特征间的欧氏距离，寻找输入图像块的K个近邻；构造一个自适应约束函数，通过邻域约束得到自适应的k个近邻，并利用局部线性嵌入的方法得到最终的高分辨率图像，完成图像超分辨率重构。本发明专利技术采用深度稀疏自编码网络学习特征，近邻选取的比较准确，并自适应的选择邻域大小，有效提高了重构图像质量并改善细节信息，适用于各种自然图像的超分辨率重构。

【技术实现步骤摘要】

本专利技术属于图像处理
，主要涉及图像超分辨重构，具体是一种基于表征 学习与邻域约束嵌入的图像超分辨重构方法，该方法可用于各类自然图像的超分辨率重 构。
技术介绍
图像超分辨重构是通过一幅或多幅低分辨率图像，重构出更高分辨率的图像。这 种方法克服了传统图像传感器的分辨率限制和代价高的缺点，是一种低成本、高效的提高 成像质量的方法，因而在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用。 传统的超分辨重构方法有迭代反向投影法，最大后验概率方法（MP)，极大似然估计法，凸 集投影法（POCS)等，但是这些传统的方法会产生过平滑现象以及锯齿效应，图像重构的质 量不高。因此，Freeman等人提出了一种基于学习的重构方法，通过马尔科夫随机模型和先 验知识来学习低分辨率图像块和高分辨率图像块之间的对应关系，并利用这种对应关系指 导图像的超分辨率重构。Chang等人提出了邻域嵌入（NeighborEmbedding)方法，假定高 分辨率图像块和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流 形，利用二者对应的邻域表示，结合加权系数，获得具体的对应关系，进一步估计需要的高 分辨率图像。但是这些方法特征提取的不够准确，往往找不到准确的近邻，并且邻域大小也 是固定的，邻域嵌入的效率偏低，重构图像的质量一般。
技术实现思路
本专利技术的目的在于克服上述已有技术的缺点，提出一种基于表征学习与邻域约束 嵌入的图像超分辨重构方法，改善特征提取的过程以及固定邻域大小的限制，提高重构图 像的效率和质量。 本专利技术是一种，其特征在 于，包括有如下步骤： 步骤1 :输入训练样例图像对，用低分辨率训练样例图像学习构造一个规模为N的 低分辨率图像块字典Xs 并用高分辨率训练样例图像学习构造一个规模为N的与 低分辨率图像块字典X, ={〇f=1相对应的高分辨率图像块字典尤; 步骤2 :输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到低分 辨率图像块集^；={4}二，对每个块用深度稀疏自编码网络提取特征得到测试图像的低分 辨率图像块特征集足.一?}&: 步骤3 :预选特征块近邻，计算测试图像块的特征与训练字典的欧氏距离，在低分 辨率图像块字典Xs ={x丨匕,中找到特征块4的K个近邻丨.<IX:eN,!作为预选范围，N,是 <在低分辨率图像块字典1中的初始邻域； 步骤4:找出输入的低分辨率测试图像块'和训练的低分辨率图像块#的8 个邻接块，并构造一个自适应邻域约束函数，得到新的邻域况，包含自适应的k个近邻 eN))，其中N)是<在低分辨率图像块字典&中的最终邻域，k彡K，k为变量； 步骤5 :通过局部线性嵌入方法计算重构权重Wlj，当重构权重误差 步骤6 :将高分辨率图像块集茗=={乂g中的所有高分辨率图像输出小块V;按顺序 放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像矿。 本专利技术的技术方案是首先对一组训练样例图像对进行预处理，构造一对低分辨图 像块与高分辨图像块字典；接着对输入的低分辨率图像进行分块并用深度稀疏自编码网络 取特征；然后计算特征间的欧氏距离，寻找输入图像块的K个近邻，得到对应的训练高分辨 率图像块；最后通过邻域约束得到自适应的k个近邻，并利用局部线性嵌入的方法得到最 终的高分辨率图像，完成图像超分辨重构。 本专利技术与现有的技术相比具有以下优点： 1.本专利技术基于深度表征学习的概念，引入了深度稀疏自编码学习图像块的特征， 更准确的描述图像本身的方向及纹理性质，所以通过特征找到的近邻更加准确； 2.本专利技术由于提出了邻域约束的概念，将以往方法中固定邻域大小变成了自适应 的邻域大小，避免了在嵌入过程中引入错误的信息，重构高分辨图像时恢复效果提高。 3.本专利技术构造了较大的训练样例集合学习字典，能对各种自然图像进行重构，包 括植物、动物、人，从而克服了传统方法对于各种输入图像兼容性不强的问题。 实验证明，本专利技术适用于各种自然图像的超分辨率重构，通过本方法进行重构后， 重构图像的细节和纹理信息都保持得比较好。【附图说明】 图1是本专利技术的总流程图； 图2是本专利技术采用的植物训练图像； 图3是本专利技术米用的动物训练图像； 图4是本专利技术米用的人训练图像； 图5是用本专利技术对测试Flower图像的重构效果图； 图6是用本专利技术对测试Parrot图像的重构效果图； 图7是用本专利技术对测试Girl图像的重构效果图； 图8是用本专利技术对测试Bike图像的重构效果图； 图9是用本专利技术和其它各种方法对测试Butterfly图像的重构图像的效果对比 图。 具体实施方法 图像是人类获取信息的重要途径之一，随着社会信息化程度的提高，人们对图像 分辨率的要求也变得越来越高。然而，许多成像系统由于受到其硬件条件的制约，所得到的 图像分辨率不能满足实际应用的要求。而为了获得高分辨率的成像系统，相应的成像芯片 和光学器件会使系统的成本增加。图像超分辨重构是通过一幅或多幅低分辨率图像，重构 出更高分辨率的图像。通常的方法特征提取的不够准确，往往找不到准确的近邻，并且邻域 大小也是固定的，重构图像的质量一般。本专利技术旨在提出一种基于表征学习与邻域约束嵌 入的图像超分辨重构方法，改善特征提取的过程以及固定邻域大小的限制，提高重构图像 的效率和质量。 下面结合附图对本专利技术详细说明： 实施例1 本专利技术是一种，参见图1，本 专利技术对图像超分辨重构包括有如下步骤： 步骤1 :输入训练样例图像对，用低分辨率训练样例图像学习构造一个规模为IOW 的低分辨率图像块字典Xy = ，并用高分辨率训练样例图像学习构造一个规模为N的 与低分辨率图像块字典Xs 相对应的高分辨率图像块字典所采用的训 练图像对为图像处理领域中常用的标准自然图像，参见图2、图3、图4。 步骤2 :输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到低分 辨率图像块集= ，对每个块用深度稀疏自编码网络提取特征得到测试图像的低分 辨率图像块特征集Aa本例中测试图像参见图5 (a)，图5 (a)是图像Flower作为测 试图像的输入图像，将图像Flower作为实验数据，对其进行分块并提取特征，得到低分辨 率图像块的特征集。 步骤3 :预选特征块近邻，计算测试图像块的特征与训练字典的欧氏距离，在低分 辨率图像块字典A= {x/KL中找到特征块Xt1的K个近邻彳.< e.N,丨作为预选范围，Ni是 4在低分辨率图像块字典Xs中的初始邻域。本例中选取K= 50个训练的低分辨率图像块 作为近邻，此50个低分辨率图像块是与输入的特征块最相似的，并且是固定大小的。 步骤4:找出输入的低分辨率测试图像块<和训练的低分辨率图像块#的8个 邻接块，并构造一个自适应邻域约束函数，得到新的邻域N)，包含自适应的k个近邻 gIgs，其中N)是;4在低分辨率图像块字典Xs中的最终邻域，k彡K，k为变量。 步骤5 :通过局部线性嵌入方法计算重构权重Wlj，当重构权重误差 =Io 步骤6 :将高分辨率图像块集J： 中的所有高分辨率图像输出小块.V;按顺序 放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像矿。本例中得到的高 分辨率图像如本文档来自技高网...

【技术保护点】
一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，其特征在于，包括有如下步骤：步骤1：输入训练样例图像对，用低分辨率训练样例图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练样例图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块并用深度稀疏自编码网络提取特征，得到测试图像的低分辨率图像块特征集步骤3：预选特征块近邻，计算测试图像块的特征与训练字典的欧氏距离，在低分辨率图像块字典中找到特征块的K个近邻作为预选范围，是在低分辨率图像块字典Xs中的初始邻域；步骤4：通过自适应邻域约束得到测试图像块新的邻域包含自适应的k个近邻其中k≤K,k为变量；步骤5：通过局部线性嵌入方法计算重构权重wij，当重构权重误差最小时传递重构权重wij，对训练的高分辨率图像块线性组合得到高分辨率图像输出小块从而得到高分辨率图像块集其中Σwij＝1；步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X*。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：杨淑媛，焦李成，张继仁，刘红英，熊涛，马晶晶，缑水平，刘芳，侯彪，刘正康，崔顺，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61