基于NormLV特征的低秩稀疏邻域嵌入超分辨方法技术

本发明专利技术公开了一种基于NormLV特征的低秩稀疏邻域嵌入的超分辨方法。首先，构造NormLV特征将邻域嵌入算法进行特征增强，通过该特征来选取近邻；将训练集进行分组得到索引集；利用低秩稀疏邻域嵌入算法计算权值矩阵；将权值矩阵归一化；线性组合得到高分辨图像块；融合高分辨图像块得到初始的高分辨图像；最后，结合一致性先验和全局约束，利用TV和IBP算法进一步提高图像超分辨重建的质量。本发明专利技术将稀疏表示与邻域嵌入算法相结合，解决了低分辨图像与高分辨图像邻域关系的不一致性影响超分辨重建质量的技术问题。采用本发明专利技术获得高分辨图像能恢复更加清晰丰富的纹理细节和图像边缘，相比其他方法，有更好的视觉效果。

【技术实现步骤摘要】
基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
本专利技术属于图像处理
，主要涉及图像超分辨方法，具体是一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，由此获得的高质量的图像为后续图像处理、分析与理解提供很大的帮助，可用于不同领域，例如生物医学、视频与多媒体系统、军事侦察等领域。
技术介绍
随着Internet应用的日益普及和移动通信技术的飞速发展，图像超分辨重构在图像处理领域得到了广泛的应用，可以克服成像系统分辨率的不足。在不同领域中取得了良好的效果，例如生物医学、视频与多媒体系统、军事侦察等领域。经过近30年的发展和研究，图像超分辨方法主要分为基于插值的方法、基于重构的方法、基于实例学习的方法。其中邻域嵌入超分辨方法是一种简单而有效的实例学习超分辨方法。邻域嵌入超分辨方法是将流形学习中局部线性嵌入思想引入超分辨重建中，假设低维空间和高维空间的局部空间结构是相似的，具体到图像超分辨率重建来看，对应的低维空间是由低分辨率图像块构成，而高维空间是由高分辨率图像块构成。邻域嵌入超分辨算法主要分为三步：搜索k近邻、计算重建权值、线性组合高分辨图像块。然而传统的基于邻域嵌入算法的超分辨方法存在以下几个问题：1)一阶梯度和二阶梯度特征提取方法只能表示水平和垂直方向的特征，不能更好表示图像块，从而会造成筛选出来的邻域不准确；2)由于特征提取的不准确性导致低分辨图像块与高分辨图像块之间的映射非一对一的线性映射；3)使用欧氏距离来严格寻找固定的k近邻进行线性嵌入，容易导致欠拟合或过拟合现象，而且找近邻的时候不能排除噪声样本或者外来干扰样本；4)对于邻域嵌入算法，由于在整个训练集上进行k-近邻搜索，当训练集规模较大的情况下，算法比较耗时。综上可知，传统的邻域嵌入超分辨方法在特征表示筛选出来的邻域不准确、搜索k近邻不能排除噪声样本或者外来干扰样本、计算重构权值容易导致欠拟合或过拟合和算法比较耗时方面有些不足之处。
技术实现思路
本专利技术的目的在于针对上述现有方法的不足，提供一种利用NormLV特征，很好实现邻域嵌入超分辨算法中特征增强，效率高的基于NormLV特征的低秩稀疏邻域超分辨方法。本专利技术实现基于NormLV特征的低秩稀疏邻域超分辨的技术方案包括有如下步骤：步骤1：读入一幅不含噪声的低分辨彩色RGB图像Lt，将RGB图像转换为彩色空间的YCbCr图像，将其中的色度分量Cb和Cr直接利用Bicubic插值法进行插值，将其中的亮度分量Y用NormLV特征提取方法进行操作；步骤2：特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练集Xs；步骤3：分组：对于低分辨率图像训练集Xs中每个向量在Xs中选出K个最近邻图像块，并把K个最近邻图像块和放到一个组Gi中，其中Gi表示与训练集中第i个样本相关的组，NK(i)表示由的K个最近邻图像块构成的索引集，1≤i≤N；为了节省内存空间，保持索引即可，所以将索引集Gi表示为：Gi＝{i}∪{j,j∈NK(i)}步骤4：低秩稀疏邻域嵌入：对于每个测试图像块用低秩稀疏邻域嵌入算法进行线性嵌入求出重构误差最小时的权值矩阵其中，低秩矩阵分解过程中得到高分辨图像块特征的低秩分量步骤5：归一化：将低分辨图像全部的权值矩阵归一化：步骤6：线性组合：线性组合邻域集Nk(j)中对应的高分辨图像块特征的低秩分量得到低分辨图像块的高分辨图像块特征的估计即本专利技术将低分辨图像的权值映射到高分辨图像中，使得低分辨图像与高分辨图像邻域关系的一致性。步骤7：将低分辨率图像块的均值Imean与高分辨特征估计值进行线性组合得到最后的高分辨率图像块步骤8：融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H0，对于相邻图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像H0的像素值；步骤9：去模糊：对H0使用TV去模糊算法获得去模糊的高分辨图像H；步骤10：反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像其中μ为平衡参数；最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像Lt的高分辨图像估计为最终高分辨图像本专利技术的实现还在于NormLV特征提取方法具体步骤如下：2a)将低分辨图像亮度分量Y自上而下，从左到右划分成大小为s×s的图像块，相邻图像块之间重叠1个像素；2b)提取低分辨图像块的一阶梯度特征▽firstgradient；2c)提取低分辨图像块的Norm特征▽Norm，所谓的Norm特征即是中间像素点的值减去块的均值；2d)提取低分辨图像块的LV特征▽LV，LV特征为将图像水平和垂直方法融合起来，用中间值减去上下左右四个方向的像素值；2e)为了更好得表示低分辨图像块，采用多个特征融合的方法将一阶梯度特征、Norm特征和LV特征融合为新的NormLV特征，NormLV特征表达式为：其中a为调节融合权重的因子；之后将得到的图像块提取其NormLV特征构造测试集同时对于训练样本集，低分辨训练样本集提取NormLV特征高分辨训练样本集提取强度特征本专利技术的实现还在于：低秩稀疏邻域嵌入算法具体步骤如下：4a)对于每个测试图像块在低分辨率图像训练集Xs中找出最相似的并得到与相关的组Gi，其中Gi包含K+1个索引；4b)将与相关的K个低分辨率图像梯度特征向量构成一个矩阵其中同理，将对应的K个高分辨率图像强度特征向量构成矩阵其中4c)输入图像块与低分辨率图像特征矩阵Li组成矩阵4d)将和Hi进行低秩矩阵分解，具体优化函数为：其中，和分别为低分辨图像特征矩阵的低秩分量和稀疏分量；和分别为高分辨图像特征矩阵Hi的低秩分量和稀疏分量；被分成两个部分，一部分是输入低分辨率图像块对应的列向量一部分是训练集低分辨率图像特征矩阵Li的分块矩阵即4e)对于每个输入图像块的列向量在训练集低分辨率图像特征矩阵Li的分块矩阵中找出K个近邻a∈NK(j)，然后用稀疏表示计算权值，优化函数为：其中上述优化问题是典型凸优化问题，采用OMP或BP算法就可求解出权值矩阵wj，这种方法求出权值能更好的反映低分辨图像块与高分辨图像块之间的映射关系。本专利技术与现有技术相比具有以下优点：1.本专利技术由于采用基于几何结构相似的NormLV特征，将一阶梯度、Norm特征和LV特征结合起来作为低分辨图像特征提取方法，对于邻域嵌入超分辨方法达到特征增强的目的，减少了低分辨图像与高分辨图像的邻域关系的不一致，从而使得筛选出来的近邻图像块更加准确，从而提高了超分辨重构图像的质量。2.本专利技术由于利用相似图像块之间几何结构一定很相似的性质，所以将庞大的训练样本集进行分组，离线操作，大大提高了邻域嵌入超分辨算法的效率。3、本专利技术在测试样本找近邻之前，先对训练集和测试样本进行低秩矩阵分解提取低秩分量，这样有助于保证低分辨与高分辨之间映射的一对一的关系，之后再将稀疏表示引入满足重构误差最小的权值计算中，避免的外在无用的样本和噪声，从而有助于提高图像超分辨重建质量。附图说明图1是本专利技术的实现流程图；图2是大小为6*6的测试图像块；图3是利用传统NE算法采用一阶二阶梯度特征寻找5个与图2最近邻的图像块实验结果对比图；图4是利用传统NE算法采用Norm特征和一阶梯度特征寻找5个与图2最近邻图像块实验结果对比图；图5是本文档来自技高网...

【技术保护点】
一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其特征在于，包括有如下步骤：步骤1：读入一幅不含噪声的低分辨彩色RGB图像Lt，将RGB图像转换为彩色空间的YCbCr图像，将其中的色度分量Cb和Cr直接利用Bicubic插值法进行插值，将其中的亮度分量Y用NormLV特征提取方法进行操作；步骤2：特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练集Xs；步骤3：分组：对于低分辨率图像训练集Xs中每个向量在Xs中选出K个最近邻图像块，并把K个最近邻图像块和放到一个组Gi中，Gi={xsi}∪{xsj,j∈NK(i)}]]>其中Gi表示与训练集中第i个样本相关的组，NK(i)表示由的K个最近邻图像块构成的索引集，1≤i≤N；为了节省内存空间，保持索引即可，所以将索引集Gi表示为：Gi＝{i}∪{j,j∈NK(i)}步骤4：低秩稀疏邻域嵌入：对于每个测试图像块用低秩稀疏邻域嵌入算法进行线性嵌入求出重构误差最小时的权值矩阵其中，低秩矩阵分解过程中得到高分辨图像块特征的低秩分量步骤5：归一化：将低分辨图像全部的权值矩阵归一化：wa,j=w‾a,j/Σa∈Nk(j)w‾a,j]]>步骤6：线性组合：线性组合邻域集Nk(j)中对应的高分辨图像块特征的低秩分量得到低分辨图像块的高分辨图像块特征的估计即ytj=Σa∈Nk(j)wa,j·(ysa)A]]>本专利技术将低分辨图像的权值映射到高分辨图像中，使得低分辨图像与高分辨图像邻域关系的一致性。步骤7：将低分辨率图像块的均值Imean与高分辨特征估计值进行线性组合得到最后的高分辨率图像块htj=c·||Itj||2·ytj+Imean]]>步骤8：融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H0，对于相邻图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像H0的像素值；步骤9：去模糊：对H0使用TV去模糊算法获得去模糊的高分辨图像H；步骤10：反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像Ht*=argminH||DBH-Lt||22+μ||H-H0||22]]>其中μ为平衡参数；最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像Lt的高分辨图像估计为最终高分辨图像...

【技术特征摘要】
1.一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其特征在于，包括有如下步骤：步骤1：读入一幅不含噪声的低分辨彩色RGB图像Lt，将RGB图像转换为彩色空间的YCbCr图像，将其中的色度分量Cb和Cr直接利用Bicubic插值法进行插值，将其中的亮度分量Y用NormLV特征提取方法进行操作；步骤2：特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练集Xs；步骤3：分组：对于低分辨率图像训练集Xs中每个向量在Xs中选出K个最近邻图像块，并把K个最近邻图像块和放到一个组Gi中，其中Gi表示与训练集中第i个样本相关的组，NK(i)表示由的K个最近邻图像块构成的索引集，1≤i≤N；为了节省内存空间，保持索引即可，所以将索引集Gi表示为：Gi＝{i}∪{j,j∈NK(i)}步骤4：低秩稀疏邻域嵌入：对于每个测试图像块用低秩稀疏邻域嵌入算法进行线性嵌入求出重构误差最小时的权值矩阵其中，低秩矩阵分解过程中得到高分辨图像块特征的低秩分量步骤5：归一化：将低分辨图像全部的权值矩阵归一化：步骤6：线性组合：线性组合邻域集Nk(j)中对应的高分辨图像块特征的低秩分量得到低分辨图像块的高分辨图像块特征的估计即将低分辨图像的权值映射到高分辨图像中，使得低分辨图像与高分辨图像邻域关系的一致性；步骤7：将低分辨率图像块的均值Imean与高分辨特征估计值进行线性组合得到最后的高分辨率图像块步骤8：融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H0，对于相邻图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像H0的像素值；步骤9：去模糊：对H0使用TV去模糊算法获得去模糊的高分辨图像H；步骤10：反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像其中μ为平衡参数；最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像Lt的高分辨图像估计为最终高分辨图像2.根据权利要求1所述的基于NormLV特征的低秩稀疏邻域嵌入超分辨方法...

【专利技术属性】
技术研发人员：张小华，焦李成，何攀辉，田小林，王爽，朱虎明，马晶晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61