基于加权残差和低秩约束的含噪人脸超分辨率重建方法技术

本发明专利技术公开了一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括对待重建的输入低分辨率人脸图像和高、低分辨率训练集相应划分相互重叠的图像块；对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率人脸样本图像对应位置的图像块中找出最近邻的图像块，并对应找出相应高分辨率人脸样本图像中的图像块；考虑到混合高强度噪声对于重建误差的影响，对每个重建像素使用不同的权值进行干扰，降低重建误差，再利用低分辨率图像集与重建系数的联合低秩性约束得到最优重建权重，利用得到的重建权重计算出各图像块相应的高分辨率人脸图像块；按照人脸上的位置,融合成高分辨率人脸图像重构出高分辨率人脸图像。图像。图像。

【技术实现步骤摘要】
基于加权残差和低秩约束的含噪人脸超分辨率重建方法


[0001]本专利技术涉及图像超分辨率
，尤其涉及一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。

技术介绍

[0002]人脸超分辨率重建技术将输入的低分辨率图像修复为高分辨率图像。即利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术。它在智能视频监控、数字娱乐、人脸合成与识别等领域具有广泛的应用背景，可以有效增强低质量图像的分辨率。
[0003]随着机器学习在计算机视觉中的成功应用，近年来,学者们提出了大量的基于学习的人脸超分辨率方法。这类方法根据高低分辨率图像构成的训练集这一先验信息,输入一张低分辨率的人脸图像,就可以超分辨率重建出一张高分辨率的人脸图像。Ma等人在相关文献中首次提出一种基于位置图像块的超分辨率方法,利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块进行最小二乘表示来获得最优权重。有专利进一步改善了基于位置块的人脸超分辨率重建方法，还有文献在基于位置块的人脸超分辨率基础上，引入Tikhonov约束降低噪声对于重建的影响(TRNR)，获得了较好的效果。最近还有文献中提出一种错误收缩的方法对混合噪声(高斯噪声与椒盐噪声)情形下的人脸超分辨性能有一定的效果(ESSNR)。
[0004]现有技术中，大部分方法均是针对无噪声、单一噪声、低强度混合噪声图像的超分辨率重建，且重建引起的误差均使用简单的高斯分布来拟合。但在实际监控场景中,人脸图像往往不可避免的被高强度混合噪声所影响，此时，重建引起的误差不再服从简单的高斯分布。

技术实现思路

[0005]针对以上问题，本专利技术提出一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。
[0006]为实现本专利技术的目的，提供一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括如下步骤：
[0007]步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
[0008]步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
[0009]步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
[0010]步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高
分辨率人脸图像。
[0011]在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
[0012]在一个实施例中，将低分辨率人脸图像I
tL
划分图像块所得集合为{x
t
(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集和低分辨率训练集中每一幅图像相应地划分图像块所得集合分别为：和其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。
[0013]上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。
附图说明
[0014]图1是一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图；
[0015]图2是另一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图。
具体实施方式
[0016]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0017]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0018]参考图1所示，图1为一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图，包括如下步骤：
[0019]步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
[0020]步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约
束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
[0021]步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
[0022]步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。
[0023]在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
[0024]在一个实施例中，将低分辨率人脸图像划分图像块所得集合为{x
t
(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集和低分辨率训练集中每一幅图像相应地划分图像块所得集合分别为：和其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。
[0025]在一个示例中，为了表述的简洁性，后续的x
t
、X、Y可以分别表示为x
t
(i,j)、X(i,j)和Y(i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，包括如下步骤：步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。2.根据权利要求1所述的基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划...

【专利技术属性】
技术研发人员：唐松泽，刘鹏飞，
申请(专利权)人：南京森林警察学院，
类型：发明
国别省市：