一种可恢复身份信息的人脸超分辨率重建方法技术

本发明专利技术公开了一种可恢复身份信息的人脸超分辨率重建方法，包括：1)准备训练数据，包括低分辨率输入图像、高分辨率目标图像和目标面部掩膜；2)构建人脸超分辨率网络，由相互协作的主、副两个分支组成；3)将低分辨率图像送入步骤2)中网络，得到高分辨率图像和副分支输出的面部掩膜；4)计算总损失，其包括掩膜像素损失、面部掩膜损失和感知特征损失；5)根据步骤4)中的总损失对网络参数进行优化和更新；6)验证步骤5)中的网络性能是否达标，若达标，则停止训练；若不达标，则重复步骤1)

【技术实现步骤摘要】
一种可恢复身份信息的人脸超分辨率重建方法


[0001]本专利技术涉及人脸图像重建的
，尤其是指一种可恢复身份信息的人脸超分辨率重建方法。

技术介绍

[0002]人脸识别是一种基于人面部生物特征信息的身份识别技术，在安保系统、公共场所、交通出入口、社区门禁等生活、工作场所有着广泛的应用。相比于指纹、虹膜、声音等生物特征，人脸识别具有非接触性、直接性和隐蔽性等天然优势，因而是身份识别应用的首选项。然而，由于成像设备硬件条件和拍摄时光线环境的制约，采集到的人脸图像往往不能满足高分辨率的要求，这就导致了现有的人脸识别算法在这种非限制条件下准确率低的问题。
[0003]人脸超分辨率重建技术是解决上述问题的重要手段之一。即通过超分辨率重建技术，将低分辨率的人脸图像重建为高分辨率的人脸图像，然后输入到人脸识别算法中进行识别。然而，现有的人脸超分辨率重建方法只是专注于提升输出人脸图像的质量(清晰度)，却忽略了恢复低分辨率人脸图像中蕴含的身份信息，这就导致了其恢复的高分辨人脸图像的识别率仍然低的问题。对于超低分辨率(14
×
14像素)人脸图像来说，这种现象尤为明显。因为现有的方法虽然重建出了看似良好的高分辨率人脸图像，却没有较好地恢复有关身份特征等信息的细节。这也是目前的人脸超分辨重建技术亟待解决的问题。
[0004]综合以上论述，专利技术一种可恢复身份信息的人脸超分辨率重建方法，具有较高的实际应用价值。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种可恢复身份信息的人脸超分辨率重建方法，通过使用一个可预测面部结构信息(面部掩膜)的网络副分支，在重建图像时融入此面部掩膜，以协助该网络的主分支明确目标人脸具体特性，包括面部轮廓的形状和位置、五官的形状和位置，使得主分支网络可以着重恢复与身份特征相关的面部区域中的像素，从而达到重建具有身份信息的高分辨率人脸图像的目的。本专利技术涉及的人脸超分辨率重建方法适用于极低分辨率(14
×
14像素)的人脸图像输入，并可输出兼具身份信息和图像质量的高分辨人脸图像。
[0006]为实现上述目的，本专利技术所提供的技术方案为：一种可恢复身份信息的人脸超分辨率重建方法，包括以下步骤：
[0007]1)准备训练数据，包括低分辨率输入图像I
LR
、高分辨率目标图像I
HR
以及根据高分辨率目标图像I
HR
生成的目标面部掩膜m
GT
；
[0008]2)构建人脸超分辨率网络FMANet，该网络能够按照设定的扩增倍率将低分辨率图像I
LR
重建为包含身份信息的高分辨率图像I
SR
；该网络由两个相互协作的分支组成，分为主分支和副分支；主分支用于提取低分辨率输入图像I
LR
的特征并重建高分辨图像I
SR
；副分支
以该特征作为输入，并输出基于输入图像的具有多种尺寸的面部掩膜，用于协助主分支重建图像；
[0009]3)将步骤1)中的低分辨率图像I
LR
送入步骤2)中的人脸超分辨率网络FMANet，进行前向推理并得到高分辨率图像I
SR
，以及副分支输出的面部掩膜m
i
,i∈{1,2,3,1
up
,2
up
,1
upup
}，其中i表示面部掩膜的序号，1
up
,2
up
,1
upup
则分别表示不同尺寸面部掩膜的下标；
[0010]4)根据步骤3)中的高分辨率图像I
SR
和面部掩膜m
i
，以及设定的损失函数计算总损失L
Total
，其中包括掩膜像素损失L
MaskPix
、面部掩膜损失L
MaskMap
和感知特征损失L
PCP
；
[0011]5)根据步骤4)中的总损失L
Total
对网络参数进行优化和更新；
[0012]6)根据预先设定的验证方法和数据集，测试优化后的网络的性能是否达标；若达标，则停止训练，后期直接用该网络进行人脸超分辨率重建任务即可；若不达标，则重复步骤1)至步骤6)。
[0013]进一步，在步骤1)中，要获得所述训练数据，首先从选定的训练数据集中选取高分辨率目标图像I
HR
，然后根据设定的缩放倍率和插值方法对高分辨率目标图像I
HR
下采样，得到低分辨率输入图像I
LR
，最后按照以下步骤生成对应高分辨率目标图像I
HR
的目标面部掩膜m
GT
：
[0014]1.1)使用预先设定的检测方法对高分辨率目标图像I
HR
进行关键点检测，得到68个面部关键点；
[0015]1.2)初始化一张尺寸与高分辨率目标图像I
HR
相同的单通道的空白图像；
[0016]1.3)在空白图像上将步骤1.1)中的面部关键点依次绘制为半径为2的圆点，得到图像A1；
[0017]1.4)对步骤1.3)中的图像A1进行核尺寸为3的膨胀操作，得到图像A2；
[0018]1.5)对步骤1.4)中的图像A2再次进行核尺寸为3的膨胀操作，得到图像A3；
[0019]1.6)对步骤1.5)中的图像A3进行核尺寸为3的高斯模糊操作，得到图像A4；
[0020]1.7)对步骤1.6)中的图像A4进行二值化操作，并得到目标面部掩膜m
GT
。
[0021]进一步，在步骤2)中，主分支的结构具体如下：
[0022]输入：低分辨图像I
LR
[0023]第一层：3
×
3卷积层；
[0024]第二层：3
×
3卷积层；
[0025]第三层：2倍上采样层；
[0026]第四层：D个前后串联的残差密集模块(Residual Dense Block,RDB)，其中D为设定的RDB的个数；
[0027]第五层：连接层；
[0028]第六层：1
×
1卷积层；
[0029]第七层：3
×
3卷积层；
[0030]第八层：连接层；
[0031]第九层：2倍上采样层；
[0032]第十层：连接层；
[0033]第十一层：2倍上采样层；
[0034]第十二层：连接层；
[0035]第十三层：3
×
3卷积层；
[0036]输出：高分辨率图像I
SR
；
[0037]副分支的结构具体如下：
[0038]输入：主分支的第五、第九和第十一层的输出特征F1、F2、F3；
[0039]第一层：三个平行的H本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可恢复身份信息的人脸超分辨率重建方法，其特征在于，包括以下步骤：1)准备训练数据，包括低分辨率输入图像I
LR
、高分辨率目标图像I
HR
以及根据高分辨率目标图像I
HR
生成的目标面部掩膜m
GT
；2)构建人脸超分辨率网络FMANet，该网络能够按照设定的扩增倍率将低分辨率图像I
LR
重建为包含身份信息的高分辨率图像I
SR
；该网络由两个相互协作的分支组成，分为主分支和副分支；主分支用于提取低分辨率输入图像I
LR
的特征并重建高分辨图像I
SR
；副分支以该特征作为输入，并输出基于输入图像的具有多种尺寸的面部掩膜，用于协助主分支重建图像；3)将步骤1)中的低分辨率图像I
LR
送入步骤2)中的人脸超分辨率网络FMANet，进行前向推理并得到高分辨率图像I
SR
，以及副分支输出的面部掩膜m
i
,i∈{1,2,3,1
up
,2
up
,1
upup
}，其中i表示面部掩膜的序号，1
up
,2
up
,1
upup
则分别表示不同尺寸面部掩膜的下标；4)根据步骤3)中的高分辨率图像I
SR
和面部掩膜m
i
，以及设定的损失函数计算总损失L
Total
，其中包括掩膜像素损失L
MaskPix
、面部掩膜损失L
MaskMap
和感知特征损失L
PCP
；5)根据步骤4)中的总损失L
Total
对网络参数进行优化和更新；6)根据预先设定的验证方法和数据集，测试优化后的网络的性能是否达标；若达标，则停止训练，后期直接用该网络进行人脸超分辨率重建任务即可；若不达标，则重复步骤1)至步骤6)。2.根据权利要求1所述的一种可恢复身份信息的人脸超分辨率重建方法，特征在于，在步骤1)中，要获得所述训练数据，首先从选定的训练数据集中选取高分辨率目标图像I
HR
，然后根据设定的缩放倍率和插值方法对高分辨率目标图像I
HR
下采样，得到低分辨率输入图像I
LR
，最后按照以下步骤生成对应高分辨率目标图像I
HR
的目标面部掩膜m
GT
：1.1)使用预先设定的检测方法对高分辨率目标图像I
HR
进行关键点检测，得到68个面部关键点；1.2)初始化一张尺寸与高分辨率目标图像I
HR
相同的单通道的空白图像；1.3)在空白图像上将步骤1.1)中的面部关键点依次绘制为半径为2的圆点，得到图像A1；1.4)对步骤1.3)中的图像A1进行核尺寸为3的膨胀操作，得到图像A2；1.5)对步骤1.4)中的图像A2再次进行核尺寸为3的膨胀操作，得到图像A3；1.6)对步骤1.5)中的图像A3进行核尺寸为3的高斯模糊操作，得到图像A4；1.7)对步骤1.6)中的图像A4进行二值化操作，并得到目标面部掩膜m
GT
。3.根据权利要求1所述的一种可恢复身份信息的人脸超分辨率重建方法，特征在于，在步骤2)中，主分支的结构具体如下：输入：低分辨图像I
LR
第一层：3
×
3卷积层；第二层：3
×
3卷积层；第三层：2倍上采样层；第四层：D个前后串联的残差密集模块RDB，其中D为设定的RDB的个数；第五层：连接层；第六层：1
×
1卷积层；
第七层：3
×
3卷积层；第八层：连接层；第九层：2倍上采样层；第十层：连接层；第十一层：2倍上采样层；第十二层：连接层；第十三层：3
×
3卷积层；输出：高分辨率图像I
SR
；副...

【专利技术属性】
技术研发人员：田联房，孙峥峥，杜启亮，
申请(专利权)人：华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：