一种基于多任务高斯过程回归的图像超分辨率重建方法技术

本发明专利技术公开了一种基于多任务高斯过程回归的图像超分辨率重建方法，包括：对输入图像进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像和双三次上采样图像；根据待求取的超分辨图像的任一图像片采用最近邻域查找法构造图像片的训练集；根据构造的训练集采用多任务高斯过程回归模型进行参数训练，得到描述任务共性和差异的参数；根据多任务高斯过程回归模型对待求取图像片进行预测，得到图像片的每一个像素点，然后使图像片在待求取的超分辨图像上滑动，重新进行预测，最终得到超分辨图像。本发明专利技术通过最近邻域查找法来避免样本数量不足的问题，更加准确；有效消除了伪影现象，提高了图像的质量。本发明专利技术可广泛应用于图像处理领域。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其是一种基于多任务高斯过程回归的图像超分辨率 重建方法。
技术介绍
图像的超分辨率重建指的是指通过软件计算的方法得到输入单帧图像对应的高 分辨率结果。该技术是图像处理领域重要且基础的操作之一，在高清显示、智能监控等领域 有着广泛的应用。 传统基于高斯过程回归（GaussianProcessRegression，GPR)的图像超分辨率 重建算法，其框架如图1所示，其中，Xc为输入的低分辨率图像，X表示未知的高分辨率图像 (即待求的高分辨率图像），该算法利用了图像的自相似性质（该性质指的是一幅自然图像 中的小图像片（例如5X5,7X7)在它自身和该幅图像的不同尺度中存在大量重复），以逐 点的方式求取高分辨率图像。对于未知的高分辨率图像X中的每一个图像片x(假定尺寸 为aXa)，该算法利用输入图像X。中与X相对应的图像片X。（尺寸为（a/k)X(a/k),k为放 大倍数）构造训练集，通过把X(]中每一个像素点的八邻域组成的行向量作为输入，该八邻 域向量所对应像素点亮度值为对应的输出，来构造训练对。而对于训练出的参数模型，则把 Y中与X位置相对应的片y作为模型输入，逐个求出X中的像素点。X在X上滑动，最终可 求取整幅高分辨图像X。GPR算法求出的高分辨率图像内容清晰，纹理丰富，但其在显著边缘处会出现强烈 的伪影，造成视觉效果下降，影响图像质量。图3为采用传统GPR算法所得到的高分辨率结 果。从图3可知，GPR算法的高分辨率结果在眼睛、腮等位置产生了明显的伪影。GPR算法 产生伪影的原因为： (1)Y为输入图像X。的简单上采样结果，是高分辨率图像X的低频近似，同样X。是 X的低频部分的下采样结果。因此由\构造训练集，并训练得到模型参数值，把Υ中的每一 个八邻域向量作为输入代入到训练模型中得到的输出实际是Y中对应点的像素亮度值，是 X的低频近似结果，而非X本身。 (2)更为重要的原因是X。中所包含的样本数量不足以正确描述GPR的映射函数f。 如果通过简单地提取更大尺寸的图像片来解决样本不足的问题，那么其会导致来自同一个 图像片的样本空间距离较远，样本差异过大而难以用同一个映射函数来描述。
技术实现思路
为了解决上述技术问题，本专利技术的目的是：提供一种准确、能有效消除伪影，图像 质量高的基于多任务高斯过程回归的图像超分辨率重建方法。 本专利技术解决其技术问题所采用的技术方案是： ，包括： S1、对输入图像X。进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y。 和双三次上采样图像Y; S2、根据待求取的超分辨图像X的任一图像片X采用最近邻域查找法构造图像片Xi= 1，2, 3，…，Μ，其中，<ef是训练模型的输入向量，4ei? 是训练模型的输出值，训练模型的映射函数为A:Rd-R，M为采样图像Y的图像片y在滤波 图像Yc中最近邻域图像片的总个数，《 =Σ?.为训练样本的总数量； S3、根据构造的训练集采用多任务高斯过程回归模型进行参数训练，得到描述任 务共性和差异的参数；S4、根据多任务高斯过程回归模型对待求取图像片X进行预测，得到图像片X的每 一个像素点，然后使图像片X在图像X上滑动，重新进行预测，最终得到超分辨图像X。 进一步，所述步骤S2包括：S21、在采样图像Υ中找到与图像片X相对应的图像片y;S22、在滤波图像Y。中找到图像片y的Μ个最近邻域图像片y。1;S23、在输入图像X。中找到与最近邻域图像片7(]1相对应的图像片Χ(]1，然后对于图 像片^的每一个像素点4,.，在图像片^中找到它对应位置的八邻域向量.ν?，从而图像片 进一步，所述步骤S3包括：S31、根据构造的训练集和先验约束对多任务高斯过程回归模型的参数进行描述， 得到相应的参数描述方程； S32、采用梯度下降法对得到的参数描述方程进行参数求解，最终得到满足设定收 敛条件的多任务高斯过程回归模型参数。 进一步，所述步骤S3包括： S31、根据构造的训练集和先验约束对多任务高斯过程回归模型的参数进行描述， 得到相应的参数描述方程；S32、采用梯度下降法对得到的参数描述方程进行参数求解，最终得到满足设定收 敛条件的多任务高斯过程回归模型参数。 进一步，所述步骤S31包括：S311、求出八邻域向量％的隐藏变量函数f以及相应的协方差岐1乂，< )，所述隐 藏变量函数f以及相应的协方差的表达式为：其中，f?为向量丸对应的隐藏变量，N为正态分布函数，K为函数f的协方差矩 阵，〇"表不值为0的nXl向量，/彳分别表不不同位置的训练模型输入向量，Θ为第 一参数； S312、求出图像片X的训练集{少心,尤'}Υ=ι输出值的隐藏变量函数ζ，所述隐藏 变量函数z的表达式为： 其中，Ρ= 为第二参数，tanh为双曲正切函数，D为函数z的协方差，且D为 ηΧη的对角矩阵； S313、根据先验约束求出多任务高斯过程回归模型的参数描述方程，所述求出的 参数描述方程表达式为： 其中，ρ()函数为概率函数，Dkk为D中（k,k)位置的协方差，σi为第i个任务的 噪声等级，μ为均值，P为标准差。 进一步，所述步骤S32包括： S321、根据求出的参数描述方程确定目标函数R，所述目标函数R的表达式为： 其中，Τ为转置，g为，g(X)是所有g排列成的列向量，g')为g卜心) 的导数； S321、采用梯度下降法计算使目标函数R取值最小时对应的参数Θ、穸、μ、p和 σ1〇 进一步，所述步骤S321，其具体为： 先固定参数Θ、识、.μ和ρ来求解σ;，然后固定参数σ;来求解Θ、μ和ρ， 直至满足设定的收敛条件。 进一步，所述步骤S4包括： S41、根据多任务高斯过程回归模型对待求取图像片x进行预测，得到图像片x的 每一个像素点^，所述像素点^的表达式为： 其中，y#为图像片y中与X$相对应的八邻域向量，〇 $为X$对应的噪声等级，S42、使图像片X在图像X上滑动，重复步骤S41的预测过程，并对重叠区域采用加 权平均值作为最终结果，直至求出超分辨图像X。 进一步，所述输入图像X。为Ycbcr空间的图像。 本专利技术的有益效果是：采用最近邻域查找法来得到待求取的超分辨图像的训练 集，然后采用多任务高斯过程回归模型进行参数训练，得到描述任务共性和差异的参数，最 后根据任务共性和差异的参数进行预测，通过最近邻域查找法来避免样本数量不足的问 题，更加准确；将传统高斯过程回归模型与多任务学习思想结合起来，利用任务与任务间的 共性和差异来提高预测的准确度当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种基于多任务高斯过程回归的图像超分辨率重建方法，其特征在于：包括：S1、对输入图像X0进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y0和双三次上采样图像Y；S2、根据待求取的超分辨图像X的任一图像片x采用最近邻域查找法构造图像片x的训练集i＝1,2,3，…，M，其中，是训练模型的输入向量，是训练模型的输出值，训练模型的映射函数为fi:Rd→R，M为采样图像Y的图像片y在滤波图像Y0中最近邻域图像片的总个数，为训练样本的总数量；S3、根据构造的训练集采用多任务高斯过程回归模型进行参数训练，得到描述任务共性和差异的参数；S4、根据多任务高斯过程回归模型对待求取图像片x进行预测，得到图像片x的每一个像素点，然后使图像片x在图像X上滑动，重新进行预测，最终得到超分辨图像X。

【技术特征摘要】

【专利技术属性】
技术研发人员：李键红，
申请(专利权)人：广州高清视信数码科技股份有限公司，
类型：发明
国别省市：广东;44