一种基于深度残差表示的彩色人脸图像超分辨率方法技术

本发明专利技术公开了一种基于深度残差表示的彩色人脸图像超分辨率方法，包括步骤1：首先利用CAS

【技术实现步骤摘要】
一种基于深度残差表示的彩色人脸图像超分辨率方法


[0001]本专利技术涉及一种彩色人脸图像超分辨率方法，特别涉及一种基于深度残差表示的彩色人脸图像超分辨率方法，属于人脸图像、卷积神经网络(CNN)、传统机器学习方法的


技术介绍

[0002]由于受到低成本成像设备的限制、周围环境因素的影响等，使得我们在实际中往往获得的人脸图像都是缺少清晰细节的低分辨率图像。这将严重影响后期对人脸检测和分析的工作。人脸图像超分辨率方法，又称人脸幻觉方法，是指从一幅或一系列低分辨率的人脸图像中恢复生成相应高分辨率人脸图像的方法。通过使用人脸图像超分辨率方法，能够有效缓解低分辨率人脸图像的相关问题。
[0003]现有的人脸超分辨率方法主要分为基于重构和基于学习的方法。本专利技术主要涉及基于学习的方法，因此下面主要对基于学习的方法进行介绍。在传统机器学习方法中，可以通过基于全局人脸的方法来对整个人脸图像进行建模。它们能够很好地维持人脸的整体结构，但这些方法严重依赖于训练样本，特别是当输入图像与训练样本差别较大或者训练样本较少时，便无法有效地恢复人脸图像的精细细节。因此，后面又引入局部图像块的方法，将完整的人脸图像中分解成小的图像块来获得更好的结果，其中，使用重叠的方式提取小块图像，以避免出现伪影和不连续性。一种基于位置块的人脸幻觉方法是主要方法之一，通过求解最小二乘回归(LSR)问题，协同对有相同位置坐标的整个训练人脸块进行超分辨率。但是，当训练样本的数量大于图像块的维数时，该解决方案就不唯一。为了解的稳定性和准确性，后面在损失函数中增加了各种正则化先验项，进一步约束解的空间。例如局部约束表示(LcR) 方法引入局部约束，以同时保持局部性和稀疏性，对噪声具有鲁棒性、一种基于Tikhonov正则化邻域表示的人脸超分辨率方法等。除此之外还有将基于全局的方法和局部的方法进行结合实现人脸超分辨率。
[0004]深度学习方法是近年流行的方法，CNNs已经作为一种成功的方法出现在许多计算机视觉应用中，特别是用CNNs来构建LR图像和HR对应图像之间的映射关系，并对HR图像显示了较强的学习能力和准确的预测能力。一种基于深度卷积神经网络的通用图像超分辨率方法(SRCNN)，首次尝试使用深度学习工具进行图像超分辨率重建。随后SRCNN+IBP在SRCNN的基础上结合迭代反投影方法形成一种改进的人脸超分辨方法，FSRNet等大量利用深度网络的人脸超分辨方法也相继提出。同时还有一种基于模型优化和判别推理相结合的通用人脸幻觉方法，并以多层邻域嵌入的方式进行人脸幻觉、一种全局局部融合网络(GLFSR)，通过重构并用全局/局部融合网络来增强残差信息等。
[0005]最近，一种称为四元数的超复杂代数被发现是处理矢量信号的优雅数学工具。例如将四元数策略引入到稀疏表示中，提出了一种基于四元数代数的向量化稀疏表示框架用于彩色图像恢复、在四元数空间中的协作稀疏表示用于彩色人脸识别、将具有真实设置的灰度图像LcR模型扩展到四元数域，用于彩色人脸图像幻觉。尽管四元数代数具有良好的性
质，但将四元数代数用于人脸图像超分辨率的研究相对较少，因此四元数在彩色人脸超分辨率中的应用还有很大的探索空间。
[0006]现有的基于CNN的人脸超分辨方法能够构建LR图像和HR图像之间的映射关系，但是面对较大放大因子时，虽然超分辨率结果图像能保持大概的人脸轮廓，但是无法返回更多的高频细节，其次现有的人脸超分辨方法大都是针对灰色图像或者是对彩色图像进行单通道处理，忽略了通道之间的相关性。
附图说明
[0007]图1为本专利技术的方法流程图；
[0008]图2为四元数空间转化流程图。

技术实现思路

[0009]本专利技术的目的在于提供一种基于深度残差表示的彩色人脸图像超分辨率方法，以解决上述
技术介绍
中提出的问题。
[0010]为实现上述目的，本专利技术提供如下技术方案：一种基于深度残差表示的彩色人脸图像超分辨率方法，所述基于深度残差表示的彩色人脸图像超分辨率方法步骤如下：
[0011]步骤1：首先利用CAS
‑
PEAL
‑
R1人脸数据集重新训练SRCNN网络，然后将待重建的低分辨率彩色人脸图像Y由RGB空间转换到YCbCr空间，将其中的亮度分量图像调整到所需要的大小，其他两个分量用简单的双三次插值放大即可；
[0012]步骤2：将调整后的亮度分量图像输入到SRCNN网络中，将其结果图像和其他两个放大的分量图像进行整合再转换回RGB空间，得到初步的人脸图像；
[0013]步骤3：为了恢复更多的高频细节，使用人脸残差补偿方案，并利用四元数局部正则化邻域嵌入方法来减少LR空间和HR空间之间的不一致性。设X 是低分辨率彩色人脸图像Y对应的高分辨率人脸图像，F是得到的初步人脸图像，则R＝X
‑
F为高频残差人脸图像，由于人脸图像X是未知的，为此需要估计高频残差人脸图像R，首先将LR
‑
HR彩色人脸图像训练集通过SRCNN网络得到更新的LR
‑
HR彩色人脸图像训练集，我们将图像F从左到右从上到下划分为重叠的图像块，更新的LR
‑
HR图像训练集也采取同样操作，其中每个像素都已经转化为用四元数表示，对于图像F中每一个图像块，我们找到同一位置下更新的LR训练图像块中的K个最近邻(KNN)，根据KNN可以找到对应位置的高频残差训练图像块，则图像R中的每个图像块可由KNN高频残差训练图像块乘上对应四元数编码系数并线性相加近似求得，最终输出图像块由初步人脸图像块添加求得的高频残差图像块并转化回RGB空间获得，将得到的所有图像块按照图像的对应位置进行整合，重叠部分进行平均处理，从而最终获得高分辨率人脸图像X。
[0014]作为本专利技术的一种优选技术方案，所述步骤2中，此网络包括三个卷积层，分别对应块的提取和表示、非线性映射和重建，第一层卷积：卷积核尺寸9
×
9(f1×
f1)，卷积核数目64(n1)，输出64张特征图；第二层卷积：卷积核尺寸1
×
1(f2×
f2)，卷积核数目32(n2)，输出32张特征图；第三层卷积：卷积核尺寸5
×
5(f3×
f3)，卷积核数目1(n3)，输出1张特征图即为输出的重建高分辨率图像。
[0015]作为本专利技术的一种优选技术方案，所述步骤3中，高频残差训练图像块为更新的HR
训练图像块减去更新的LR训练图像块。
[0016]作为本专利技术的一种优选技术方案，所述四元素是二维复数的扩展，一个四元数由一个实部和三个虚部组成，设为四元素，它的数学形式为其中q0、q1、q2和q3为实数系数，i、j、k为虚部。我们将人脸图像中的每个像素转化为纯四元数表示，从而得到四元素矩阵，像素如下所示：
[0017][0018]其中q
r
、q
g
、q
b
为一个颜色像素的红、绿、蓝分量。...

【技术保护点】

【技术特征摘要】
1.一种基于深度残差表示的彩色人脸图像超分辨率方法，其特征在于，所述基于深度残差表示的彩色人脸图像超分辨率方法步骤如下：步骤1：首先利用CAS
‑
PEAL
‑
R1人脸数据集重新训练SRCNN网络，然后将待重建的低分辨率彩色人脸图像Y由RGB空间转换到YCbCr空间，将其中的亮度分量图像调整到所需要的大小，其他两个分量用简单的双三次插值放大即可；步骤2：将调整后的亮度分量图像输入到SRCNN网络中，将其结果图像和其他两个放大的分量图像进行整合再转换回RGB空间，得到初步的人脸图像；步骤3：为了恢复更多的高频细节，使用人脸残差补偿方案，并利用四元数局部正则化邻域嵌入方法来减少LR空间和HR空间之间的不一致性，设X是低分辨率彩色人脸图像Y对应的高分辨率人脸图像，F是得到的初步人脸图像，则R＝X
‑
F为高频残差人脸图像，由于人脸图像X是未知的，为此需要估计高频残差人脸图像R，首先将LR
‑
HR彩色人脸图像训练集通过SRCNN网络得到更新的LR
‑
HR彩色人脸图像训练集，我们将图像F从左到右从上到下划分为重叠的图像块，更新的LR
‑
HR图像训练集也采取同样操作，其中每个像素都已经转化为用四元数表示，对于图像F中每一个图像块，我们找到同一位置下更新的LR训练图像块中的K个最近邻(KNN)，根据KNN可以找到对应位置的高频残差训练图像块，则图像R中的每个图像块可由KNN高频残差训练图像块乘上对应四元数编码系数并线性相加近似求得，最终输出图像块由初步人脸图像块添加求得的高频残差图像块并转化回RGB空间获得，将得到的所有图像块按照图像的对应位置进行整合，重叠部分进行平均处理，从而最终获得高分辨率人脸图像X。2.根据权利要求1所述的一种基于深度残差表示的彩色人脸图像超分...

【专利技术属性】
技术研发人员：刘立成，王林芝，杨彬，
申请(专利权)人：湖南大学，
类型：发明
国别省市：