一种超分辨图像纹理优化的方法和装置制造方法及图纸

一种超分辨图像纹理优化的方法及装置，基于时频特征提取和映射核学习的方式实现，其方法包括：1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；3)对待优化的图片进行纹理优化。本发明专利技术的方法及装置可以使得超分辨图像的纹理更加清晰自然。

A Method and Device for Texture Optimization of Super-Resolution Image

【技术实现步骤摘要】
一种超分辨图像纹理优化的方法和装置
本专利技术涉及图像超分辨
，特别是涉及一种基于时域和分数阶频域特征筛选和映射核学习的超分辨图像纹理优化的方法和装置。
技术介绍
图像作为重要的信息载体，无论在日常生活应用中，还是科学研究应用中，都起着重要的作用。一幅图像中，更高的分辨率意味着图像中会包含更丰富的信息和更详实的细节，然而由于图像在成像过程或网络传输中受到干扰和压缩等影响，我们得到的图片往往是模糊的小尺寸的低分辨率图像。图像超分辨技术希望从降质后的低分辨图像重建出清晰的大尺寸高分辨图，实现图像降质过程的逆过程，还原更丰富的图像信息。现有的图像超分辨方法主要分为基于插值，基于重构和基于学习三种。基于插值的方法复杂度极低，但其对高频细节区域的重建较差，且会出现明显的混叠现象。基于重构的方法通过优化图像梯度来实现图像超分辨，但由于先验信息有限，梯度重构效果并不令人满意。基于学习的方法利用外部实例作为先验信息来训练稀疏字典，映射核或神经网络来重建高分辨图像，但此类方法仍然很难重建精细的图像边缘和纹理信息。由于人眼对纹理区域更加敏感，因此优化图像纹理对提高图像超分辨的质量至关重要。基于马尔科夫随机场的纹理合成方法使用外部纹理实例来合成纹理场，并且通过边缘引导方法和纹理场的结果来合成期望的图像纹理。基于局部分形分析的方法根据分形维数的尺度不变性来估计高分辨图像的梯度，从而进一步优化图像纹理。此类方法仅使用有限的纹理实例或内部信息作为先验信息来执行图像纹理的重构，且没有对纹理块进行适当的分类，因此对纹理的优化效果并不理想。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于时频特征提取和映射核学习的超分辨图像纹理优化的方法及装置，使得超分辨图像的纹理更加清晰自然。本专利技术提供了一种超分辨图像纹理优化的方法，包括如下步骤：1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；3)对待优化的图片进行纹理优化。其中，所述步骤1)具体为：使用bicubic下采样算法和高斯模糊核，对筛选器外部样本的训练图像集中的每一张原始的高分辨图进行模糊下采样处理，生成对应的低分辨图；使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到重建后的超分辨图，提取ycbcr格式中的y通道，即灰度通道，得到待优化的超分辨图；使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；对每一个低分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨纹理像素点，形成高分辨点集；将超分辨纹理图块集和高分辨纹理像素点集一一对应，形成纹理样本图块对，作为训练纹理图块样本筛选器所需的训练样本集{(li,hi)}。其中，所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度矩阵G：式中hi是高分辨纹理像素点，式中gx和gy表示每个像素的水平和垂直梯度。其中，所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度角度θ，纹理相干性μ和纹理强度δ的时域特征：式中λ1和λ2表示方阵GGT的最大和较小特征值，是对应于λ1的特征向量。其中，所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，计算li的协方差矩阵来表示超分辨纹理图块li在不同方向上的波动性：式中σ(x，x)和σ(y，y)表示超分辨纹理图块li的水平和垂直方向的方差，σ(x，y)和σ(y，x)表示协方差。其中，所述步骤1)还包括：将特征向量Fspa＝[θ,μ,δ,σ(x，x),σ(x，y),σ(y，x),σ(y，y)]作为超分辨纹理图块li的时域特征。其中，所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的不同阶数的分数傅立叶频谱图：式中u和v是分数傅里叶图谱中的横坐标，式中x和y表示超分辨纹理图块li中像素点的坐标位置，式中的核函数K按照下式计算：式中j是指复数的虚部，t是冲激函数的时域自变量，δ为冲激函数，n为整数，α表示分数傅立叶变换的分数阶，u表示频率。其中，所述步骤1)还包括：将不同阶数的分数傅里叶频谱Ffre＝[{F(αi,αj)}]作为超分辨纹理图块li的分数阶频域特征。其中，所述步骤1)还包括：从训练样本中选取一定数目的纹理样本图块对，并依据超分辨纹理图块li，通过直观的视觉判断，按照人工标注的方式，对每一个纹理样本图块对进行标记1或-1，并记录标签为{ci}；将和{ci}作为输入，按照如下公式训练一个基于时域特征的SVM分类器S1：式中是样本的空域特征集，w和b为所求分类平面的权重和偏置值；类似的，将和{ci}作为输入，按照如下公式训练一个基于分数阶频域特征的SVM分类器S2：式中wfre和bfre为所求分类平面的权重和偏置值；将两个SVM分类器通过加权结合，形成同时基于时域和分数阶频域特征的纹理图块样本筛选器，选出纹理特征明显的样本来作为训练样本，加权结合后的二分类筛选器公式如下：L＝sign(q1sign(wfreFfre-bfre)+q2sign(wspaFspa-bspa))式中L是最终的判别标记，sign(.)为sign函数，权重系数q1和q2是通过实验来确定的。其中，所述步骤3)具体为：使用bicubic下采样算法和高斯模糊核，对外部训练图像集中的每一张高分辨图进行模糊下采样处理，生成对应的低分辨图；使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到超分辨重建后的图像，提取ycbcr中的y通道，得到待优化的超分辨图；使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；对每一个超分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨像素点，形成高分辨点集；将超分辨纹理图块集和高分辨点集一一对应，形成样本图块对，作为训练超分辨纹理图块优化映射核所需的训练样本集{(pli,phi)}；其中phi是筛选后的高分辨纹理像素点；按照下式对每一个超分辨纹理图块pli进行处理，得到pli的梯度矩阵G：式中gx和gy表示每个像素的水平和垂直梯度。其中，所述步骤3)还包括：按照下式对每一个超分辨纹理图块pli进行处理，得到pli的角度θ：式中是对应于方阵GGT的最大特征值λ1的特征向量；根据角度值θ的大小，将训练样本集{(pli,phi)}划分到四个不同的类别，θ范围分别为[0，45°)，[45°，90°)，[90°，135°)，[135°，180°]。其中，所述步骤3)还包括：使用步骤1)中训练所得的加权SVM纹理图块样本筛选器，分别对每个类内的样本进行筛选，将纹理特征不明显的样本剔除出去，形成筛选后的训练样本集{(pli,phi)}。其中，所述步骤3)还包括：针对每个类j，将训练样本集向量化，并按照如下公式求解该类的映射核Mj：式中M是待求的映射核，ph是筛选后的高分辨纹理像素点，pl是筛选后的低分辨纹理图块，本文档来自技高网...

【技术保护点】
1.一种超分辨图像纹理优化的方法，其特征在于，包括如下步骤：1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；3)对待优化的图片进行纹理优化。

【技术特征摘要】
1.一种超分辨图像纹理优化的方法，其特征在于，包括如下步骤：1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；3)对待优化的图片进行纹理优化。2.如权利要求1所述的方法，其特征在于：所述步骤1)具体为：使用bicubic下采样算法和高斯模糊核，对筛选器外部样本的训练图像集中的每一张原始的高分辨图进行模糊下采样处理，生成对应的低分辨图；使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到重建后的超分辨图，提取ycbcr格式中的y通道，即灰度通道，得到待优化的超分辨图；使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；对每一个低分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨纹理像素点，形成高分辨点集；将超分辨纹理图块集和高分辨纹理像素点集一一对应，形成纹理样本图块对，作为训练纹理图块样本筛选器所需的训练样本集{(li,hi)}；优选地，按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度矩阵G：式中hi是高分辨纹理像素点，gx和gy表示每个像素的水平和垂直梯度。3.如权利要求2所述的方法，其特征在于：所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度角度θ，纹理相干性μ和纹理强度δ的时域特征：式中λ1和λ2表示方阵GGT的最大和较小特征值，是对应于λ1的特征向量。4.如权利要求3所述的方法，其特征在于：所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，计算li的协方差矩阵来表示超分辨纹理图块li在不同方向上的波动性：式中σ(x，x)和σ(y，y)表示超分辨纹理图块li的水平和垂直方向的方差，σ(x，y)和σ(y，x)表示协方差；优选的，所述步骤1)还包括：将特征向量Fspa＝[θ,μ,δ,σ(x，x),σ(x，y),σ(y，x),σ(y，y)]作为超分辨纹理图块li的时域特征。5.如权利要求4所述的方法，其特征在于：所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的不同阶数的分数傅立叶频谱图：式中u和v是分数傅里叶图谱中的横坐标，x和y表示超分辨纹理图块li中像素点的坐标位置，式中的核函数K按照下式计算：式中j是指复数的虚部，t是冲激函数的时域自变量，δ为冲激函数，n为整数，α表示分数傅立叶变换的分数阶，u表示频率；优选地，将不同阶数的分数傅里叶频谱Ffre＝[{F(αi,αj)}]作为超分辨纹理图块li的分数阶频域特征。6.如权利要求5所述的方法，其特征在于：所述步骤1)还包括：从训练样本中选取一定数目的纹理样本图块对，并依据超分辨纹理图块li，通过直观的视觉判断，按照人工标注的方式，对每一个纹理样本图块对进行标记1或-1，并记录标签为{ci}；将和{ci}作为输入，按照如下公式训练一个基于时域特征的SVM分类器S1：式中是样本的空域特征集，w和b为所求分类平面的权重和偏置值；类似的，将和{ci}作为输入，按照如下公式...

【专利技术属性】
技术研发人员：段沛奇，康学净，张雪松，吕远，郑林誉，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11