基于残差学习的人脸增强方法技术

本发明专利技术公开了一种基于残差学习的人脸增强方法，包括如下步骤：S10，准备带噪声的人脸图像集和与其对应的原始人脸图像集，分别作为训练集的低质样本和标签样本；S20，构造残差学习神经网络，使用训练集来拟合参数，生成人脸增强模型；S30，通过人脸增强模型计算待处理人脸的残差图像，根据人脸的残差图像进行人脸增强。本发明专利技术提供的基于残差学习的人脸增强方法，通过学习残差来处理人脸图像中的噪声、增加人脸细节，甚至能应对一些未知噪声，其抗噪能力好、细节恢复能力强。

【技术实现步骤摘要】
基于残差学习的人脸增强方法
本专利技术涉及图像增强和深度学习的
，特别涉及一种基于残差学习的人脸增强方法。
技术介绍
随着各地智慧城市的建设和发展，视频安防和视频刑侦等技术受到越来越多的关注。现在的视频成像技术，常受到如低光照等外部环境的影响，使得所采集的到视频图像质量不高。尤其是模糊、低质的人脸图像，大大提高了人脸识别的难度，也使得安防和刑侦等工作更加艰难。现有的人脸增强方法多是基于关键点或图像局部性实现的。前者关键点的识别精确程度直接影响到增强效果。而可惜的是图像越低质，关键点越难识别。后者则是基于局部性的，所以需要人脸的各个结构，如眼、口、鼻等，比较准确的对齐。遗憾的是，视频中的人脸不可能都正对镜头，并且人工对齐将会花费大量的时间。这些都使得该方法的应用场景受限，结果不理想。
技术实现思路
针对现在技术所存在的问题，本专利技术提出一种基于残差学习的人脸增强方法，该方法无需人脸完全对齐，也无需人脸正对镜头，甚至无需计算关键点，其可自动学习低质人脸中的噪声和细节，人脸增强效果好，且应用场景更加广泛。为了实现上述目的，本专利技术提出的人脸增强方法，包括如下步骤：S10，准备带噪声的人脸图像集和与其对应的原始人脸图像集，分别作为训练集的低质样本和标签样本；S20，构造残差学习神经网络，使用所述步骤S10中的训练集来拟合参数，生成人脸增强模型：f(x)-y＝r；其中，f(x)为标签样本，y为低质样本，r为残差图像；S30，通过人脸增强模型计算待处理人脸的残差图像，根据人脸的残差图像进行人脸增强。优选地，所述步骤S10中，准备带噪声的人脸图像集和与其对应的原始人脸图像集包括：S11，对原始人脸图像集进行加噪、加模糊，得到低质的人脸图像集，即带噪声的人脸图像集，并将该带噪声的人脸图像集作为低质样本；S12，将原始人脸图像集作为标签样本，将所述步骤S11中的低质样本和该低质样本对应的标签样本按对应关系分隔成若干图像块，生成结构化的训练集。优选地，所述步骤S10中，准备带噪声的人脸图像集和与其对应的原始图像集包括：S11′，在低质环境下采集低质的人脸图像集，即带噪声的人脸图像集，并将该带噪声的人脸图像集作为低质样本；S12′，将原始人脸图像集的人脸图像作为标签样本，将步骤S11′中的低质样本和该低质样本对应的标签样本按对应关系分隔成若干图像块，生成结构化的训练集。优选地，所述步骤S11′中，采集低质的人脸图像集的低质环境与人脸增强的应用环境相同。优选地，所述步骤S20中所构造的残差学习神经网络包括依次连接的第一层、若干中间层、以及残差层，其构造过程如下：S21，在第一层使用64个3×3的卷积核对低质样本进行卷积，并使用修正线性单元ReLU对卷积的结果进行非线性化；S22，将步骤S21中得到的非线性化的结果作为第一个中间层的输入样本，在第一个中间层使用64个3×3×64的卷积核对该输入样本进行卷积，并对卷积结果进行批规范化，使用修正线性单元ReLU对卷积结果进行非线性化；将第一个中间层输出的结果作为第二个中间层的输入样本，在第二个中间使用64个3×3×64的卷积核对第一个中间层输出的卷积结果进行卷积，对卷积结果进行批规范化，并使用修正线性单元ReLU对卷积结果进行非线性化，以此循环，直至最后一个中间层；S23，将步骤S22中最后得到的非线性化的结果作为残差层的输入样本，在残差层使用3×3×64的卷积核对该输入样本进行卷积；S24，使用与低质样本对应的训练集，拟合残差学习神经网络的参数，生成人脸增强模型。相比现在的人脸增强方法，本专利技术具有以下优点：1、应用场景更加广泛，不需要对人脸图像提出各种严苛的限制标准；2、对人脸增强的处理效果好，不仅能对抗噪声，还能增强人脸细节；3、在长期的使用过程中，可不断提升抗噪和增强细节的能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术基于残差学习的人脸增强方法一实施例的流程图；本专利技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式本专利技术提出一种基于残差学习的人脸增强方法。参照图1，图1为本专利技术基于残差学习的人脸增强方法一实施例的流程图。如图1所示，在本专利技术实施例中，该人脸增强方法包括如下步骤：S10，准备带噪声的人脸图像集和与其对应的原始人脸图像集，分别作为训练集的低质样本和标签样本。其中，标签样本为低质样本所对应的高质样本。S20，构造残差学习神经网络，使用所述步骤S10中的训练集来拟合参数，生成人脸增强模型：f(x)-y＝r；其中，f(x)为标签样本，y为低质样本，r为残差图像。S30，通过人脸增强模型计算待处理人脸的残差图像，根据人脸的残差图像进行人脸增强。具体地，在本实施例中，步骤S10中，准备带噪声的人脸图像集和与其对应的原始人脸图像集的过程如下：S11，对原始人脸图像集进行加噪、加模糊，得到低质的人脸图像集，即带噪声的人脸图像集，并将该带噪声的人脸图像集作为低质样本。此外，亦可对原始人脸图像集进行下采样，再使用双三次插值上采样的方式来得到低质的人脸图像集。S12，将原始人脸图像集作为标签样本。将步骤S11中的低质样本和该低质样本对应的标签样本按对应关系分隔成若干大小适宜的图像块，生成结构化的训练集。应当说明的是，图像块的大小由数据特性选择。在本实施例中，图像块的大小选择了40×40。为了能够使得人脸增强模型的增强效果，在本专利技术的另一实施例中，步骤S10中的准备带噪声的人脸图像集和与其对应的原始人脸图像集的过程为：S11′，在低质环境下采集低质的人脸图像集，即带噪声的人脸图像集，并将该带噪声的人脸图像集作为低质样本；其中，采集低质的人脸图像集的低质环境与人脸增强的应用环境应相同。S12′，将原始人脸图像集的人脸图像作为标签样本，将步骤S11′中的低质样本和该低质样本对应的标签样本按对应关系分隔成若干大小适宜的图像块，生成结构化的训练集。在本实施例中，低质样本与标签样本的大小选择了40×40。通过在人脸增强模型欲应用的低质环境下采集相应的低质人脸样本，可使得人脸增强模型学习到该低质环境下的未知噪音。这使得人脸增强模型既可以增加细节，还可以处理一些未知种类的噪声，从而提高人脸增强的容错性和提升增强效果。具体地，步骤S20中所构造的残差学习神经网络包括依次连接的第一层、若干中间层、以及残差层，其构造过程如下：S21，将被分隔成若干40×40大小的低质样本的图像块作为第一层的输入样本，在第一层使用64个3×3的卷积核对这些图像块进行卷积，并使用修正线性单元ReLU对卷积的结果进行非线性化。S22，将步骤S21中得到的非线性化的结果作为中间层的输入样本，在中间层使用64个3×3×64的卷积核对该输入样本进行卷积，并对卷积结果进行批规范化，最后使用修正线性单元ReLU对卷积结果进行非线性化。将非线性化的结果作为下一个中间层的输入样本，对上一个的中间层输出的第二次卷积非线性化的结果进行第二次卷积操作，对卷积结果进行批规范化本文档来自技高网...

【技术保护点】
一种基于残差学习的人脸增强方法，其特征在于，包括如下步骤：S10，准备带噪声的人脸图像集和与其对应的原始人脸图像集，分别作为训练集的低质样本和标签样本；S20，构造残差学习神经网络，使用所述步骤S10中的训练集来拟合参数，生成人脸增强模型：f(x)‑y＝r；其中，f(x)为标签样本，y为低质样本，r为残差图像；S30，通过人脸增强模型计算待处理人脸的残差图像，根据人脸的残差图像进行人脸增强。

【技术特征摘要】
1.一种基于残差学习的人脸增强方法，其特征在于，包括如下步骤：S10，准备带噪声的人脸图像集和与其对应的原始人脸图像集，分别作为训练集的低质样本和标签样本；S20，构造残差学习神经网络，使用所述步骤S10中的训练集来拟合参数，生成人脸增强模型：f(x)-y＝r；其中，f(x)为标签样本，y为低质样本，r为残差图像；S30，通过人脸增强模型计算待处理人脸的残差图像，根据人脸的残差图像进行人脸增强。2.如权利要求1所述的基于残差学习的人脸增强方法，其特征在于，所述步骤S10中，准备带噪声的人脸图像集和与其对应的原始人脸图像集包括：S11，对原始人脸图像集进行加噪、加模糊，得到低质的人脸图像集，即带噪声的人脸图像集，并将该带噪声的人脸图像集作为低质样本；S12，将原始人脸图像集作为标签样本，将所述步骤S11中的低质样本和该低质样本对应的标签样本按对应关系分隔成若干图像块，生成结构化的训练集。3.如权利要求1所述的基于残差学习的人脸增强方法，其特征在于，所述步骤S10中，准备带噪声的人脸图像集和对应的原始图像集包括：S11′，在低质环境下采集低质的人脸图像集，即带噪声的人脸图像集，并将该带噪声的人脸图像集作为低质样本；S12′，将原始人脸图像集的人脸图像作为标签样本，将步骤S11′中的低质样本和该低质样本对应的标签样...

【专利技术属性】
技术研发人员：张力元，胡金晖，
申请(专利权)人：中电科新型智慧城市研究院有限公司，
类型：发明
国别省市：广东,44