一种基于上下文信息的非线性拓展的人脸幻构方法技术

本发明专利技术公开了一种基于上下文信息的非线性拓展的人脸超分辨率方法，该方法首先通过上下文块对上下文信息进行抽样，以丰富人脸图像表示的先验信息，并在正则化目标函数时利用设置阈值对上下文字典进行降维，然后利用高斯核函数将原始数据转化为核空间，通过协作表示建立高低分辨率图像之间的非线性关系，最后采用上下文残差学习重建出待测图像。本方法通过高斯核函数建立高低分辨率图像之间的非线性映射，并将高维特征空间中的非线性问题表示为线性问题。此外，它还使用上下文残差学习来获得更准确的图像表示的先验信息，提高了重建的性能。

A Nonlinear Extended Face Illusion Method Based on Context Information

The invention discloses a non-linear extended face super-resolution method based on context information. First, context information is sampled through context blocks to enrich the priori information of face image representation, and context dictionary is dimensionally reduced by setting threshold when regularizing objective function, then original data is transformed into kernel space by using Gauss kernel function. The non-linear relationship between high and low resolution images is established by cooperative representation. Finally, the image to be measured is reconstructed by context residual learning. In this method, the non-linear mapping between high and low resolution images is established by using the Gauss kernel function, and the non-linear problem in high-dimensional feature space is expressed as a linear problem. In addition, it uses context residual learning to obtain more accurate priori information of image representation, which improves the performance of reconstruction.

【技术实现步骤摘要】
一种基于上下文信息的非线性拓展的人脸幻构方法
本专利技术涉及图像识别技术，尤其涉及一种基于上下文信息的非线性拓展的人脸幻构方法。
技术介绍
超分辨率在各种实际应用中扮演着重要的角色，例如遥感、医学成像和视频监控。人脸幻构是一种典型的超分辨率算法，它是指从单个或多个低分辨率(Low–resolution,LR)图像中恢复出一个高分辨率(High–resolution，HR)图像。从如何对映射函数进行建模，可以将人脸超分辨率算法分为两类:线性方法和非线性方法。线性方法假设每个输入图像可以通过字典原子的线性组合来表示，或者直接使用LR和HR关系的线性回归。Wang等提出了一个全局线性模型来表示特征脸空间中的LR图像。虽然线性方法简单有效，但线性假设限制了训练数据中先验信息的表达能力。非线性方法使用虚拟的非线性方法来模拟LR和HR关系，以克服线性方法的局限性。许多使用非线性方法的超分辨率算法取得了很好的效果。最近，深度学习为超分辨率任务提供了一个端到端的学习模型。深层网络结构通过非线性方法描述图像特征。Dong等人首先提出了利用非线性映射进行超分辨率的卷积神经网络。Kim等人通过深度残差网络，利用递归子网络单元来准确表示图像。Ledig等利用对抗生成网络渲染图像的逼真度。上述的人脸幻构方法达到了良好的重建效果。然而，这些方法有两个缺点:首先，以上方法在重建时优先考虑位置信息，而忽略图像中的上下文信息和成像的非线性本质。其次，基于深度学习的方法具有非线性表示能力，但训练网络是依赖硬件(GPU)并且非常耗时。基于上下文信息块的启发，我们提出了一种简单有效的上下文信息的非线性扩展方法，以获得更好的重建性能。通过高斯核函数将原始数据扩展到高维核空间，然后使用协作表达约束来表示上下文信息。最后，在残差域重建HR图像。我们所提出的非线性方法易于实施，且其性能优于一些基于深度学习的方法。通过描述LR和HR图像之间的复杂关系，以探索准确的高频信息。我们提出的上下文信息非线性拓展是与深度学习不同的非线性表示方法。在本文中，和基于位置块的方法相比，我们提出的方法能够利用上下文块提供更多的非局部信息，而且，在残差域也会比像素域具有更好的表示能力。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于上下文信息的非线性拓展的人脸幻构方法。本专利技术解决其技术问题所采用的技术方案是：一种基于上下文信息的非线性拓展的人脸幻构方法，包括以下步骤：S1，根据训练集中的高分辨率人脸图像获得残差字典：对训练集中的高分辨率人脸图像进行加模糊下采样得到对应的低分辨率人脸图像，再将低分辨率人脸图像插值到与原高分辨率人脸图像同样的大小后，对高分辨率人脸图像和低分辨率人脸图像通过上下文块对上下文信息进行重叠取块，形成相应的上下文HR字典和上下文LR字典其中，N表示训练样本个数；我们定义的上下文块的大小(是整数)在一个大的窗口大小ω×ω集中在这个块。在这个大的窗口我们使用步长e取样多个块,上下文块的数量c可以通过窗口大小ω,块大小和步长e表示：然后将高分辨率字典减去低分辨率字典得到残差字典；S2，运用高斯核函数，将低分辨率字典转换到内核空间，得到在内核空间的低分辨率字典(表达字典)；S3，将测试集中的低分辨率测试人脸图像插值到与高分辨率人脸图像同样的大小，然后对插值后的低分辨率测试人脸图像进行取块后，运用高斯核函数，将其转换到内核空间，使测试图像和训练样本保持在同一空间；步骤S2提到的中，就是从训练样本通过分块组合而成，然后就是在转换空间，转换的方式是一样的。内核空间也称为非线性空间。S4，对于对插值后的低分辨率测试人脸图像，使用协作表达和设置阈值求出在低分辨率空间的最优表达系数矩阵；S5，根据流形一致性假设，将低分辨率协作表达系数保持在高分辨率空间，也即是高低分辨率空间的表达系数相同，得出重建时的权重系数矩阵；根据线性可分的情况，我们把数据分为线性空间和非线性空间(内核空间)；根据流形学习分析，我们把图片分为高分辨率空间和低分辨率空间；S6，利用步骤S5得到的重建系数矩阵和步骤S1得到的残差字典进行线性组合，预测出测试集中的低分辨率测试人脸图像的残差图像；S7，将插值后的低分辨率测试人脸图像与步骤S6得到的残差图像相加得到最终的重建高分辨率人脸图像。按上述方案，所述步骤S4中低分辨率图像的表达系数表示如下：对于输入的图像块yi，低分辨率图像的表达系数：αi＝(G+λI)-1f(·,yi)；其中，f(·,yi)＝[f(l1,yi),…,f(lK,yi)]T表示通过核函数建立测试样本与表达字典之间的非线性关系，低分辨率字典K表示字典原子个数,λ是非线性稀疏表达的平衡参数，G表示Gram矩阵，I为单位矩阵。按上述方案，所述步骤S4中采用如下公式通过一个阈值K来确定LR字典中的一个邻域来求低分辨率图像的表达系数：其中，为上下文LR字典，λ是非线性稀疏表达的平衡参数，αi[j]是表达系数αi的第j个权重系数，CK(yi)表示离yi最近的K个字典原子所组成的邻域，相对应的重建字典可以通过索引在上下文HR字典中获得。按上述方案，所述步骤S3)中使测试图像和训练样本保持在同一空间采用方法具体如下：将每个输入的低分辨率图像块插值到与高分辨率图像同样大小后变为使用投影矩阵投影到一个低维的嵌入空间(非线性空间)，或使用样本z作为分解的训练样本，通过核函数:将线性低维空间低分辨率图像块yi通过高斯核函数转换为本专利技术产生的有益效果是：本专利技术提供了基于上下文信息的非线性拓展的人脸幻构方法，所提出的非线性方法易于操作，其性能优于一些基于深度学习的方法。比起基于位置块的方法，上下文的残差学习方法被证实具有较好的重建能力。增强的性能来自于上下文信息，这些信息总是包含更多的非局部信息和残差学习，这些信息总是比像素域的方式具有更好的表达能力。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术实施例的方法流程图；图2是本专利技术实施例的的实验结果对照图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，一种基于上下文信息的非线性拓展的人脸幻构方法，包括以下步骤：步骤1，低分辨率训练库中包含低分辨率人脸样本图像，高分辨率训练库中包含高分辨率人脸样本图像。其中，低分辨率人脸样本图像是对高分辨率人脸图像进行加模糊下采样得到的对应的低分辨率人脸图像，我们将低分辨率人脸图像插值到与高分辨率人脸图像同样的大小后，对高分辨率人脸图像和低分辨率人脸图像通过上下文块对上下文信息进行重叠取块，形成相应的高分辨率字典和低分辨率字典后，然后将高分辨率字典减去低分辨率字典得到残差字典。本实施例中采用的是CAS-PEAL-R1脸部数据库，选择了1000张图片作为训练样本，其余40张图片进行测试。HR图像的大小为128×112像素。从相应的HR图像(比例因子t＝4)采样下来的LR图像通过加模糊形成(模糊的内核是4像素),因此LR的脸图像的大小32×28像素。实例中，在训练样本人脸图像时，对用插值处理的低分辨率人脸图像通过上下文块对上下文信息进行抽样本文档来自技高网...

【技术保护点】
1.一种基于上下文信息的非线性拓展的人脸幻构方法，其特征在于，包括以下步骤：S1，根据训练集中的高分辨率人脸图像获得残差字典：对训练集中的高分辨率人脸图像进行加模糊下采样得到对应的低分辨率人脸图像，再将低分辨率人脸图像插值到与原高分辨率人脸图像同样的大小后，对高分辨率人脸图像和低分辨率人脸图像通过上下文块对上下文信息进行重叠取块，形成相应的上下文HR字典

【技术特征摘要】
1.一种基于上下文信息的非线性拓展的人脸幻构方法，其特征在于，包括以下步骤：S1，根据训练集中的高分辨率人脸图像获得残差字典：对训练集中的高分辨率人脸图像进行加模糊下采样得到对应的低分辨率人脸图像，再将低分辨率人脸图像插值到与原高分辨率人脸图像同样的大小后，对高分辨率人脸图像和低分辨率人脸图像通过上下文块对上下文信息进行重叠取块，形成相应的上下文HR字典和上下文LR字典其中，N表示训练样本个数；然后将高分辨率字典减去低分辨率字典得到残差字典；S2，运用高斯核函数，将低分辨率字典转换到内核空间，得到在内核空间的低分辨率字典S3，将测试集中的低分辨率测试人脸图像插值到与高分辨率人脸图像同样的大小，然后对插值后的低分辨率测试人脸图像进行取块后，运用高斯核函数，将其转换到内核空间，使测试图像和训练样本保持在同一空间；S4，对于对插值后的低分辨率测试人脸图像，使用协作表达和设置阈值求出在低分辨率空间的最优表达系数矩阵；S5，根据流形一致性假设，将低分辨率协作表达系数保持在高分辨率空间，也即是高低分辨率空间的表达系数相同，得出重建时的权重系数矩阵；S6，利用步骤S5得到的重建系数矩阵和步骤S1得到的残差字典进行线性组合，预测出测试集中的低分辨率测试人脸图像的残差图像；S7，将插值后的低分辨率测试人脸图像与步骤S6得到的残差图像相加得到最终的重建高...

【专利技术属性】
技术研发人员：卢涛，曾康利，陈希彤，汪家明，许若波，郝晓慧，周强，陈冲，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北,42