人脸图像超分辨率重建方法及计算机可读取的存储介质技术

本发明专利技术公开了一种人脸图像超分辨率重建方法。本发明专利技术的人脸图像超分辨率重建方法，独创性地提取了两种人脸语义先验知识，将两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入，确保了重构的人脸图像包含更多的人脸先验信息，并且将人脸超分辨率重建网络和多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器，使得重建后的高分辨率人脸图像更加真实逼真，执行速度也很快，对于不同程度低分辨率的人脸图像都具有良好的鲁棒性。本发明专利技术的人脸图像超分辨率重建方法，对于由于采集设备和环境以及网络传输介质、图像压缩等因素引起的低分辨率图像的超分辨率重建具有良好的应用效果。

Super-resolution Reconstruction of Face Images and Computer Readable Storage Media

【技术实现步骤摘要】
人脸图像超分辨率重建方法及计算机可读取的存储介质
本专利技术涉及人脸图像重建
，特别地，涉及一种人脸图像超分辨率重建方法及计算机可读取的存储介质。
技术介绍
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度和更丰富的纹理细节。在实际上中，由于图像采集系统或采集环境本身的限制，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。而人脸图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义，尤其在公共安防领域可以为办案人员恢复出清晰人脸等重要信息，为案件侦破提供必要线索。具体来说，人脸图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率人脸图像中复原出高分辨率人脸图像的过程。目前，常见的人脸图像超分辨率重建的方法主要包括：1)基于插值的方法；2)基于重构的方法；3)基于学习的方法。其中，基于插值的方法包括：最近邻插值法、双线性插值法等，该方法对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，通常由一个预定义的变换函数或者插值核来完成。基于重构的方法包括：迭代反投影法、凸集投影法和最大后验概率法等，该方法则是从图像的降质退化模型出发，提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。基于学习的方法包括流形学习、稀疏编码和深度学习方法，该方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种映射关系，从而实现图像的超分辨率重建过程。但是，基于插值的方法不考虑图像的降质退化模型，导致复原出的图像出现模糊、锯齿等现象；基于重构的方法假定适当的变换和先验知识的约束，使得应用的人脸场景比较局限，没有很好的广泛普适性；而基于深度学习CNN等方法在分辨率很低的情况下，超清化后重建的人脸图像效果欠佳。因此，现有的人脸图像超分辨率重建方法无法提供良好的超分辨率重建效果，无法满足应用需求。
技术实现思路
本专利技术提供了一种人脸图像超分辨率重建方法和计算机可读取的存储介质，以解决现有的人脸图像超分辨率重建方法无法提供良好的超分辨率重建效果的技术问题。根据本专利技术的一个方面，提供一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，包括以下步骤：步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为faceparsingmaps和facelandmarkheatmaps；步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。进一步地，所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建：步骤S11：采用3个Residual模块和2个Hour-Glass模块并结合skipconnection机制构建多任务人脸语义先验知识提取网络；步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。进一步地，所述基于像素级别L2范数的损失函数为其中，ptruth表示真实的人脸先验信息，pestimate表示多任务人脸语义先验知识提取网络估计的人脸先验信息。进一步地，所述步骤S11具体包括以下步骤：步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV-BN-ReLU”卷积结构，“CONV-BN-ReLU”卷积结构输出人脸图像；步骤S112：将“CONV-BN-ReLU”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像；步骤S113：将Residual模块输出的人脸图像输入至2个Hour-Glass模块，Hour-Glass模块输出人脸图像；步骤S114：采用两个单独的1*1卷积核对Hour-Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示faceparsingmaps的特征图和表示facelandmarkheatmaps的特征图。进一步地，所述步骤S2中的人脸超分辨率重建网络的编码部分通过以下步骤构建：采用12个Residual模块作为低分辨率人脸图像的输入结构，Residual模块的卷积核为3*3、步长为1，输出人脸图像，然后将12个Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，输出特征图。进一步地，所述步骤S2中的人脸超分辨率重建网络的解码部分通过以下步骤构建：采用3个Residual模块作为输入结构，Residual模块的卷积核为3*3、步长为1，再将Residual模块输出的人脸图像输入至“BN-ReLU-DECONV”反卷积结构中，然后输出特征图，然后将“BN-ReLU-DECONV”反卷积结构输出的特征图依次经过2个“CONV-ReLU”层和1个CONV层，输出重建的高分辨率图像。进一步地，所述人脸超分辨率重建网络的整体损失函数为：其中，LG(Θ)表示生成器G的损失函数，LD(G，D)表示判别器D的对抗损失函数，LP表示人脸超分辨率重建网络的感知损失函数，γD表示平衡对抗损失的权重，γP表示平衡感知损失的权重，γD＝10-3，γP＝10-1。进一步地，生成器G的损失函数为：其中，表示真实的高分辨率人脸图像，表示人脸超分辨率重建网络重建的高分辨率人脸图像，λ＝1。进一步地，人脸超分辨率重建网络的感知损失函数为其中，φ表示固定预训练好的VGG16模型‘relu5_3’层的激活值。本专利技术还提供一种计算机可读取的存储介质，用于存储进行人脸图像超分辨率重建的计算机程序，该计算机程序在计算机上运行时执行以下步骤：步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为faceparsingmaps和facelandmarkheatmaps；步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；本文档来自技高网...

【技术保护点】
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于，包括以下步骤：步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps；步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。

【技术特征摘要】
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于，包括以下步骤：步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为faceparsingmaps和facelandmarkheatmaps；步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于，所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建：步骤S11：采用3个Residual模块和2个Hour-Glass模块并结合skipconnection机制构建多任务人脸语义先验知识提取网络；步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。3.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于，所述基于像素级别L2范数的损失函数为其中，ptruth表示真实的人脸先验信息，pestimate表示多任务人脸语义先验知识提取网络估计的人脸先验信息。4.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于，所述步骤S11具体包括以下步骤：步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV-BN-ReLU”卷积结构，“CONV-BN-ReLU”卷积结构输出人脸图像；步骤S112：将“CONV-BN-ReLU”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像；步骤S113：将Residual模块输出的人脸图像输入至2个Hour-Glass模块，Hour-Glass模块输出人脸图像；步骤S114：采用两个单独的1*1卷积核对Hour-Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示faceparsingmaps的特征图和表示facelandmarkheatmaps的特征图。5.如权利要求1所述的人...

【专利技术属性】
技术研发人员：刘蒸蒸，刘伟华，
申请(专利权)人：智慧眼科技股份有限公司，
类型：发明
国别省市：北京,11