一种基于卡通纹理分解的图像超分辨率重建方法技术

本发明专利技术公开了一种基于卡通纹理分解的图像超分辨率重建方法，包括离线训练过程和在线测试过程，离线训练过程包括高低分辨率纹理字典对的训练和离线纹理锚点映射，在线测试过程，将低分辨率输入图像进行卡通和纹理分解；基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像；通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像；将重建出的卡通图像与纹理图像进行相加从而输出想要得到的高分辨率图像；同时具有这两种算法的优点，既具有较好的去噪能力和较强的边缘保持能力，又具有良好的适应性和鲁棒性。

An image super resolution reconstruction method based on cartoon texture decomposition

The invention discloses an image super-resolution reconstruction method based on cartoon texture decomposition, including off-line training process and online testing process, the off-line training process includes high and low resolution texture of dictionary training and off-line texture anchor mapping, online testing process, the low resolution input image and cartoon texture decomposition rate; improved total variation regularization method to reconstruct a high resolution image and low resolution image corresponding to the cartoon cartoon based on super resolution reconstruction; by the improved method of external training samples based on texture mapping matrix anchor high resolution texture image of low resolution texture images; high resolution image will reconstruct the cartoon image and texture image is added to the output want to get; it has the advantage of two algorithms, which has better denoising ability and strong The edge preserving ability has good adaptability and robustness.

【技术实现步骤摘要】
一种基于卡通纹理分解的图像超分辨率重建方法
本专利技术属于图像处理领域，具体涉及一种基于卡通纹理分解的图像超分辨率重建方法。
技术介绍
随着数字图像处理技术的不断深入发展，人们对高分辨率图像与视频的要求与日俱增，为了满足人们的需求，基于单帧图像的超分辨率重建技术就诞生了。图像超分辨率重建是将低分辨率图像恢复成高分辨率图像，这一问题一直以来都是图像领域界研究学者们探究的重要课题。目前，图像超分辨率重建被广泛应用于视频监控、卫星遥感成像、医学图像等各个领域。已有的单帧图像超分辨技术大致可以分为三类：基于插值的方法，基于重建的方法和基于示例学习的方法。基于插值的方法被看作是超分辨率方法中最为基础的一种方法。尽管理论上讲这些方法是高效的，但是在许多实践过程中重建图像的质量并不理想。基于重建的方法虽然能产生清晰的边缘并且能抑制人工痕迹的产生，但并没有为高分辨率图像的输出提供任何新的有用的细节，尤其是在高放大倍率的情况下。基于示例学习的方法优于基于重建的方法，但在重建过程中会产生模糊效应，使低分辨率图像块不利于与实际图像块进行匹配，从而降低了重建图像的质量。目前较流行的一种图像超分辨率方法是改进的邻域锚点映射方法，该方法主要分为离线的样本库训练和在线的图像重构两部分。在训练过程中，对收集到的高分辨率图像进行下采样得到低分辨率图像；然后将低分辨率图像经双线性插值算法放大，将得到的双线性插值图像依次实施提取梯度特征、分块、降维操作得到具有低频信息的低分辨率块；而具有高频信息的预测插值图像则通过原始高分辨率图像减去低分辨率图像的双线性插值图像获得，然后将图像做分块处理，得到具有高频信息的高分辨率块。这样，在训练数据库中就存在着低分辨率块和与之对应的高分辨率块的样本对了。训练完样本对后，进行锚点映射操作。在这一训练过程中，首先计算每一个样本与每一个锚点的欧式距离，然后找锚点的最近邻样本完成锚点映射这一训练过程。这样，离线的训练过程也就完成了。在训练样本对的过程中，该方法只是简单的对高分辨率图像进行处理。这样，在得到低分辨率图像过程中会产生模糊效应，使得所产生的低分辨率块与实际图像不匹配，存在多对一的情况。在锚点映射过程，该方法仅仅通过寻找锚点的最近邻样本来完成锚点映射这一训练过程。这样，所得到的映射矩阵与实际映射矩阵之间会产生较大误差。因此，这种方法往往会使重建出来的图像丢失细节、模糊边缘。
技术实现思路
针对现有技术的不足，专利技术的目的在于提供一种基于卡通纹理分解的图像超分辨率重建方法，既能有效地避免因噪声产生的纹理，同时又能有效地保持图像内容，使图像的结构更加明显。为了达到上述目的，本专利技术采用如下技术方案：一种基于卡通纹理分解的图像超分辨率重建方法，包括以下步骤：S1：离线训练过程包括两个训练过程：第一个训练过程通过K-奇异值分解算法训练出高低分辨率纹理字典对；第二个训练过程通过离线纹理锚点映射，找出样本对应的最近锚点，还要找出锚点对应的最近样本，认为每一对字典原子为一个锚点，代表一种纹理类型；S2：将低分辨率输入图像进行卡通纹理分解；S3：基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像；S4：通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像；S5：将重建出的卡通图像与纹理图像进行相加输出要得到的高分辨率图像。进一步，所述步骤S1具体包括以下步骤：S11：收集高分辨率训练图像，然后对每一幅高分辨率训练图像进行卡通纹理分解，得到高分辨率训练纹理图像和高分辨率训练卡通图像，通过K-奇异值分解算法训练高低分辨率纹理字典对，并将训练结果存储在参数库中；S12：对每一幅分解得到的高分辨率训练纹理图像实施如下步骤：步骤(1)将高分辨率训练纹理图像切割成高和宽分别能被放大倍数整除的图像Y；步骤(2)对图像Y进行采样得到低分辨率纹理图像Yl；然后通过双立方插值算法，将低分辨率纹理图像Yl进行图像放大，并将放大后的图像表示为Ym；步骤(3)使用f1＝[-101]对图像Ym进行卷积，得到图像Ym的一阶垂直梯度图像使用f2＝[-101]T对图像Ym进行卷积，得到图像Ym的一阶水平梯度图像使用f3＝[-1020-1]对图像Ym进行卷积，得到图像Ym的二阶垂直梯度图像使用f4＝[-1020-1]T对图像Ym进行卷积，得到图像Ym的二阶水平梯度图像将分别分为N个图像块，将对应位置的图像块都变成列向量，再将四个列向量连接为一个列向量，并通过主成分分析算法来完成这些向量的降维，记这些向量为低频特征向量其中，N表示训练样本的数目；步骤(4)将高分辨率图像Y与放大后的图像Ym进行减法操作，得到具有高频信息的图像Yh，数学公式如式(1)所示：Y-Ym＝Yh(1)然后将图像Yh分为N块，得到图像块集合Pil和Pih形成了样本对，N个训练样本对形成样本对集合步骤(5)对每一个训练样本和每一个锚点分别进行标号；步骤(6)计算每一个样本与第α个锚点的欧式距离，其中，α＝1,2,3···M，M表示锚点的个数，将距离按从小到大的顺序进行排序，然后按此顺序将样本进行排序并记录其标号；将前n个样本号码按顺序分别记为α1,α2···αn，将锚点α对应的与其最近的n个样本号码形成的集合记为Ωα，则得到Ωα＝{αw|w＝1,2,3···n}；步骤(8)计算每一个锚点与样本αw的欧式距离，将距离按从小到大的顺序进行排序，然后按此顺序将锚点进行排序并记录其标号，将前m个锚点号码形成的集合记为Γ，则得到样本αw对应的与其最近的m个锚点形成的集合即Γ；如果集合Γ中包括α，则将αw记入最终的第α个锚点的匹配样本号码集即重复该步骤直到确定所有Ωα中的样本是否能计入当确定中的所有样本号码之后，将这些号码对应的样本对记为将所有号码在中低分辨率特征样本合并为矩阵，记为合并的方法是将作为的每一列，将所有号码在中高分辨率特征样本合并为矩阵，记为将作为的每一列；重复操作步骤(7)和步骤(8)，直到将M个锚点对应的样本集找完；步骤(9)根据以上步骤得出计算映射矩阵Λα，数学表达式如式(2)所示。其中，表示的是对应低分辨率空间的邻域，表示的是对应高分辨率空间的邻域，Λα表示的是从低分辨率空间到高分辨率空间的映射矩阵，I表示单位矩阵，λ表示的是拉格朗日乘子。最后将训练结果储存到参数库中。进一步，所述步骤S2具体步骤如下：步骤(1)输入低分辨率测试图像；步骤(2)将低分辨率测试图像切割为图像块，记图像块集合为其中，H表示分块数目，并用这H个图像块训练一个低分辨率字典A，其训练过程采用K-奇异值分解方法；步骤(3)设定一个纹理/卡通原子的阈值E；步骤(4)将低分辨率字典A的第g个原子排成方阵Ag；步骤(5)使用g1＝[1-1]对方阵Ag进行卷积，得到方阵Ag的一阶垂直梯度矩阵使用g2＝[1-1]T对方阵Ag进行卷积，得到方阵Ag的一阶水平梯度矩阵步骤(6)使用如下公式计算第g个原子对应的参数μg：步骤(7)重复步骤(4)、(5)、(6)直到完成所有原子对应的参数μ的计算；步骤(8)将所有原子对应的参数μ进行比较，将其中参数值最大的记为步骤(9)使用如下公式计算第g个原子对应的活性Qg；步骤(10)判断第g个原子对应的活本文档来自技高网...

【技术保护点】
一种基于卡通纹理分解的图像超分辨率重建方法，其特征在于包括以下步骤：S1：离线训练过程包括两个训练过程：第一个训练过程通过K‑奇异值分解算法训练出高低分辨率纹理字典对；第二个训练过程通过离线纹理锚点映射，找出样本对应的最近锚点，还要找出锚点对应的最近样本，认为每一对字典原子为一个锚点，代表一种纹理类型；S2：将低分辨率输入图像进行卡通纹理分解；S3：基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像；S4：通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像；S5：将重建出的卡通图像与纹理图像进行相加输出要得到的高分辨率图像。

【技术特征摘要】
1.一种基于卡通纹理分解的图像超分辨率重建方法，其特征在于包括以下步骤：S1：离线训练过程包括两个训练过程：第一个训练过程通过K-奇异值分解算法训练出高低分辨率纹理字典对；第二个训练过程通过离线纹理锚点映射，找出样本对应的最近锚点，还要找出锚点对应的最近样本，认为每一对字典原子为一个锚点，代表一种纹理类型；S2：将低分辨率输入图像进行卡通纹理分解；S3：基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像；S4：通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像；S5：将重建出的卡通图像与纹理图像进行相加输出要得到的高分辨率图像。2.如权利要求1所述的一种基于卡通纹理分解的图像超分辨率重建方法，其特征在于：所述步骤S1具体包括以下步骤：S11：收集高分辨率训练图像，然后对每一幅高分辨率训练图像进行卡通纹理分解，得到高分辨率训练纹理图像和高分辨率训练卡通图像，通过K-奇异值分解算法训练高低分辨率纹理字典对，并将训练结果存储在参数库中；S12：对每一幅分解得到的高分辨率训练纹理图像实施如下步骤：步骤(1)将高分辨率训练纹理图像切割成高和宽分别能被放大倍数整除的图像Y；步骤(2)对图像Y进行采样得到低分辨率纹理图像Yl；然后通过双立方插值算法，将低分辨率纹理图像Yl进行图像放大，并将放大后的图像表示为Ym；步骤(3)使用f1＝[-101]对图像Ym进行卷积，得到图像Ym的一阶垂直梯度图像使用f2＝[-101]T对图像Ym进行卷积，得到图像Ym的一阶水平梯度图像使用f3＝[-1020-1]对图像Ym进行卷积，得到图像Ym的二阶垂直梯度图像使用f4＝[-1020-1]T对图像Ym进行卷积，得到图像Ym的二阶水平梯度图像将分别分为N个图像块，将对应位置的图像块都变成列向量，再将四个列向量连接为一个列向量，并通过主成分分析算法来完成这些向量的降维，记这些向量为低频特征向量其中，N表示训练样本的数目；步骤(4)将高分辨率图像Y与放大后的图像Ym进行减法操作，得到具有高频信息的图像Yh，数学公式如式(1)所示：Y-Ym＝Yh(1)然后将图像Yh分为N块，得到图像块集合和形成了样本对，N个训练样本对形成样本对集合步骤(5)对每一个训练样本和每一个锚点分别进行标号；步骤(6)计算每一个样本与第α个锚点的欧式距离，其中，α＝1,2,3…M，M表示锚点的个数，将距离按从小到大的顺序进行排序，然后按此顺序将样本进行排序并记录其标号；将前n个样本号码按顺序分别记为α1,α2…αn，将锚点α对应的与其最近的n个样本号码形成的集合记为Ωα，则得到Ωα＝{αw|w＝1,2,3…n}；步骤(7)计算每一个锚点与样本αw的欧式距离，将距离按从小到大的顺序进行排序，然后按此顺序将锚点进行排序并记录其标号，将前m个锚点号码形成的集合记为Γ，则得到样本αw对应的与其最近的m个锚点形成的集合即Γ；如果集合Γ中包括α，则将αw记入最终的第α个锚点的匹配样本号码集即重复该步骤直到确定所有Ωα中的样本是否能计入当确定中的所有样本号码之后，将这些号码对应的样本对记为将所有号码在中低分辨率特征样本合并为矩阵，记为合并的方法是将作为的每一列，将所有号码在中高分辨率特征样本合并为矩阵，记为将作为的每一列；重复操作步骤(6)和步骤(7)，直到将M个锚点对应的样本集找完；步骤(8)根据以上步骤得出计算映射矩阵Λα，数学表达式如式(2)其中，表示的是对应低分辨率空间的邻域，表示的是对应高分辨率空间的邻域，Λα表示的是从低分辨率空间到高分辨率空间的映射矩阵，I表示单位矩阵，λ表示的是拉格朗日乘子；最后将训练结果储存到参数库中。3.如权利要求1所述的一种基于卡通纹理分解的图像超分辨率重建方法，其特征在于：所述步骤S2具体步骤如下：步骤(1)输入低分辨率测试图像；步骤(2)将低分辨率测试图像切割为图像块，记图像块集合为其中，H表示分块数目，并用这H个图像块训练一个低分辨率字典A，其训练过程采用K-奇异值分解方法；步骤(3)设定一个纹理/卡通原子的阈值E；步骤(4)将低分辨率字典A的第g个原子排成方阵Ag；步骤(5)使用g1＝[1-1]对方阵Ag进行卷积，得到方阵Ag的一阶垂直梯度矩阵使用g2＝[1-1]T对方阵Ag进行卷积，得到方阵Ag的一阶水平梯度矩阵步骤(6)使用如下公式计算第g个原子对应的参数μg：步骤(7)重复步骤(4)、(5)、(6)直到完成所有原子对应的参数μ的计算；步骤(8)将所有原子对应的参数μ进行比较，将其中参数值最大的记为步骤(9)使用如下公式计算第g个原子对应的活性Qg；步骤(10)判断第g个原子对应的活性Qg是否满足下列不等式：Qg≤E(5)如果满足则将该原子归属于卡通字典原子；如果不满足则将该原子归属于纹理字典原子；步骤(11)通过以上步骤就将整体字典A分解为卡通字典Ac和纹理字典At；步骤(12)通过下面的公式分别得到卡通字典Ac和纹理字典At所对应的...

【专利技术属性】
技术研发人员：徐健，李萌，范九伦，赵凤，赵小强，常志国，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61