基于稀疏域重构的单帧图像超分辨重建方法及装置制造方法及图纸

本发明专利技术涉及一种基于稀疏域重构的单帧图像超分辨重建方法及装置，主要解决现有技术中存在的不能够根据图像的先验知识选择合适的插值函数获得高质量的重建图像的技术问题。本发明专利技术通过采用实例映射学习的第一范式，将稀疏域上低分辨率特征B

Method and apparatus for super-resolution reconstruction of single frame images based on sparse domain reconstruction

The invention relates to a method and device for single image SR reconstruction based on sparse domain reconstruction, can not solve the main problems existing in the prior art according to the prior knowledge of the image to choose proper interpolation functions to obtain a reconstructed image of high quality technical problems. By adopting the first paradigm of case mapping learning, the low resolution feature B in the sparse domain is adopted

【技术实现步骤摘要】
基于稀疏域重构的单帧图像超分辨重建方法及装置
本专利技术涉及图形处理领域，特别涉及一种基于稀疏域重构的单帧图像超分辨重建方法及装置。
技术介绍
图像作为人类记载客观世界信息的载体，在工业生产和日常生活中具有重要作用，然而受成像系统设备状况、成像环境和有限网络数据传输带宽等条件的限制，成像过程往往存在运动模糊、下采样和噪声污染等退化过程，以至于实际获得的图像分辨率低、细节纹理丢失、主观视觉效果差。为了获得纹理清晰且细节丰富的高分辨率图像，最直接有效的方法就是通过改善制造工艺，来提高传感器设备和光学成像系统的物理分辨率级别，然而高昂的价格和复杂的改进流程严重限制了这类技术的发展前景。为此，我们需要一种价格低廉、效果突出的重建方法来提升图像的分辨率，在无需额外硬件支持的情况下最大程度地减弱模糊和噪声等外界环境的干扰，在现有工艺制造水平的条件下获取高质量、高品质的图像。图像超分辨率重建是指用一幅或者多幅低分辨率图像，通过信号处理技术来获得一幅清晰的高分辨率图像的技术。该技术能有效克服成像设备固有分辨率的不足，突破成像环境的限制，在不改变现有成像系统的前提下，能以最低的成本获取高于成像系统物理分辨率的高质量图像。该技术具有非常广泛的应用前景，是低质量智能安全监控系统中人脸检测与识别技术、智能机器人关键技术，也是推动智能显示技术发展的源动力。现有技术是基于插值的方法。该方法首先根据放大倍数确定重建图像上对应低分辨率图像的像素值，然后利用确定的插值核函数或者自适应的插值核函数估计重建图像网格上的未知像素值。此类方法简单高效并且计算复杂度低，但是难以根据图像的先验知识选择合适的插值函数获得高质量的重建图像，其本质原因是基于插值的方法相比较低分辨率图像而言并没有增加重建图像的信息量。因此，提供一种可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像的基于稀疏域重构的单帧图像超分辨重建算法是很有必要的。
技术实现思路
本专利技术所要解决的技术问题是现有技术中存在的不能根据图像的先验知识选择合适的插值函数获得高质量的重建图像的技术问题，本专利技术提供一种可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像的重建算法。为解决上述技术问题，本专利技术采用的技术方案如下：一种基于稀疏域重构的单帧图像超分辨重建方法，所述方法包括：(1)训练阶段：所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型，包括：(A)根据低分辨率图形建立低分辨率特征集，根据高分辨率图形建立高分辨率特征集；(B)根据K-SVD方法求解低分辨率特征对应的字典和稀疏编码系数；(C)建立稀疏域重构优化目标方程式；(D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化，迭代求解，变化量小于阈值时停止；得到高分辨率字典，高分辨率稀疏编码系数及稀疏映射矩阵；(2)合成阶段：所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上，合成出高分辨率图像，包括：(a)自分辨率图形进行提取特征；(b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数；(c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上，从而合成高分辨率特征；(d)融合高分辨率特征得到高分辨率图像。上述方案中，为优化，进一步地，所述步骤(1)中步骤(A)包括：选择高分辨率图像数据库作为图像训练集低分辨率图像集为水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY，分别为：GX＝[1,0,-1]，GY＝[1,0,-1]T将低分辨率图像训练集分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY进行卷积运算，获得原始的低分辨率特征训练集将原始低分辨率特征训练集ZS使用PCA方法进行维度约简后，获得投影矩阵Vpca和低分辨率特征训练集其中为第p幅高分辨率图像，Ns为高分辨率图像的数量，为第p幅低分辨率图像，Ns为低分辨率图像的数量；T为转置运算；为第i项原始低分辨率特征，Nsn为原始低分辨率特征的数量；为第i项的低分辨率特征，Nsn为低分辨率特征的数量。进一步地，所述步骤(1)中步骤(B)包括：将所述高分辨率图像训练集与对应的低分辨率图像训练集相减获得高频图像集以单位矩阵作为算子模板，与高频图像集ES进行卷积运算，获得高分辨率特征训练集根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl；其中ep为第p幅高频图像，Ns为高频图像的数量；为第i项的高分辨率特征，Nsn为高分辨特征的数量；λl为l1范数优化的正则项系数，||·||F为F范数，||·||1为1范数。进一步地，所述步骤(1)中步骤(C)包括：根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0：假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数，根据最小平方误差，得出：对高分辨率特征的稀疏为项和稀疏域的映射模型建立初始优化目标公式：高分辨率特征的稀疏为误差项ED为：将稀疏域映射误差项EM为：得到稀疏域重构的优化目标公式为：其中，Bl为低分辨率特征编码系数，YS为高分辨率特征训练集，T为矩阵的转置运算，(·)-1为矩阵求逆运算；YS是高分辨率特征训练集，Φh是高分辨率字典，Bh是高分辨率特征编码系数，Bl是低分辨率特征编码系数，M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵，ED是高分辨率特征的稀疏为误差项，EM是稀疏域映射误差项，α是映射误差项系数；β是l1范数优化正则项系数；γ是映射矩阵正则项系数；为高分辨率字典Φh的第i项原子。进一步地，所述步骤(1)中步骤(D)包括：根据所述稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0，迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M，高分辨率特征编码系数Bh及映射矩阵M为固定值，根据二次约束二次规划方法求解高分辨率字典Φh，得到：通过进行稀疏编码，求解高分辨率特征编码系数Bh；根据岭回归优化方法，求解第t次迭代的映射矩阵M(t)：依次优化，直到相邻两次稀疏域重构的优化目标值的变化量小于阈值时得到高分辨率字典Φh，高分辨率稀疏编码系数Bh及稀疏映射矩阵M；其中，Φh0作为高分辨率字典的迭代初始值，高分辨率特征编码系数的迭代初始值设为Bh0＝Bl，映射矩阵的迭代初始值设为M0＝E，E为单位矩阵，为高分辨率特征的增广矩阵，YS为高分辨率特征训练集，为高分辨率字典的增广矩阵：α是稀疏域映射误差项系数，取值为0.1，β是L1范数优化正则项系数，取值为0.01；μ为迭代的步长，α是稀疏域映射误差项系数，γ是映射矩阵正则项系数。进一步地，所述步骤(2)中步骤(a)包括：根据低分辨率图像，对低分辨率图像做同训练阶段的处理得到低分辨率测试特征XR。进一步地，所述步骤(2)中步骤(b)包括：将所述低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码，得到低分辨率测试特征编码系数B'l。进一步地，所述步骤(2)中步骤(c)包括：将低分辨率测试特征编码系数B'l与步骤(1)中的映射矩阵M做本文档来自技高网...

【技术保护点】
一种基于稀疏域重构的单帧图像超分辨重建方法，其特征在于：所述方法包括：(1)训练阶段：所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型，包括：(A)根据低分辨率图形建立低分辨率特征集，根据高分辨率图形建立高分辨率特征集；(B)根据K‑SVD方法求解低分辨率特征对应的字典和稀疏编码系数；(C)建立稀疏域重构优化目标方程式；(D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化，迭代求解，变化量小于阈值时停止；得到高分辨率字典，高分辨率稀疏编码系数及稀疏映射矩阵；(2)合成阶段：所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上，合成出高分辨率图像，包括：(a)自分辨率图形进行提取特征；(b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数；(c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上，从而合成高分辨率特征；(d)融合高分辨率特征得到高分辨率图像。

【技术特征摘要】
1.一种基于稀疏域重构的单帧图像超分辨重建方法，其特征在于：所述方法包括：(1)训练阶段：所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型，包括：(A)根据低分辨率图形建立低分辨率特征集，根据高分辨率图形建立高分辨率特征集；(B)根据K-SVD方法求解低分辨率特征对应的字典和稀疏编码系数；(C)建立稀疏域重构优化目标方程式；(D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化，迭代求解，变化量小于阈值时停止；得到高分辨率字典，高分辨率稀疏编码系数及稀疏映射矩阵；(2)合成阶段：所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上，合成出高分辨率图像，包括：(a)自分辨率图形进行提取特征；(b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数；(c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上，从而合成高分辨率特征；(d)融合高分辨率特征得到高分辨率图像。2.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其特征在于：所述步骤(1)中步骤(A)包括：选择高分辨率图像数据库作为图像训练集低分辨率图像集为水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY，分别为：GX＝[1,0,-1]，GY＝[1,0,-1]T将低分辨率图像训练集分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY进行卷积运算，获得原始的低分辨率特征训练集将原始低分辨率特征训练集ZS使用PCA方法进行维度约简后，获得投影矩阵Vpca和低分辨率特征训练集其中为第p幅高分辨率图像，Ns为高分辨率图像的数量，为第p幅低分辨率图像，Ns为低分辨率图像的数量；T为转置运算；为第i项原始低分辨率特征，Nsn为原始低分辨率特征的数量；为第i项的低分辨率特征，Nsn为低分辨率特征的数量。3.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其特征在于：所述步骤(1)中步骤(B)包括：将所述高分辨率图像训练集与对应的低分辨率图像训练集相减获得高频图像集以单位矩阵作为算子模板，与高频图像集ES进行卷积运算，获得高分辨率特征训练集根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl；其中ep为第p幅高频图像，Ns为高频图像的数量；为第i项的高分辨率特征，Nsn为高分辨特征的数量；λl为l1范数优化的正则项系数，||·||F为F范数，||·||1为1范数。4.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法，其特征在于：所述步骤(1)中步骤(C)包括：根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0：假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数，根据最小平方误差，得出：对高分辨率特征的稀疏为项和稀疏域的映射模型建立初始优化目标公式：高分辨率特征的稀疏为误差项ED为：将稀疏域映射误差项...

【专利技术属性】
技术研发人员：李冀翔，许神贤，周明忠，
申请(专利权)人：深圳市华星光电技术有限公司，
类型：发明
国别省市：广东,44