一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法技术

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法属于数字图像/视频信号处理领域，首先设计了人脸细节信息增强的处理流程；然后根据此流程进行网络结构的设计，LR图像通过该网络得到HR图像；最后，HR图像通过人脸识别网络进行人脸验证准确性评估。本发明专利技术可完成含有LR人脸图像细节信息的增强，并提升人脸验证的准确性；其次，本发明专利技术的生成网络先完成图像高频信息的补偿，再由亚像素卷积完成图像放大，最后级联结构完成图像逐步放大，完成图像细节信息增强；属性约束模块与感知模块、对抗模型协同训练，一起微调生成网络重建图像的性能；最后，本发明专利技术将生成网络的重建图像输入人脸验证网络，人脸验证的准确性有所提升。

A super resolution reconstruction method for face images based on discriminable attribute constraints to generate confrontation networks

A face image super-resolution reconstruction method based on discriminable attribute constraint generating antagonism network belongs to the domain of digital image / video signal processing. First, the processing flow of face detail information enhancement is designed. Then, the network structure is designed based on the process. The LR image passes through the network to get the HR image; finally, the HR diagram The accuracy of face verification is evaluated through face recognition network. The invention can enhance the details of the LR face image and improve the accuracy of the face verification. Secondly, the generation network of the invention can complete the compensation of the high frequency information of the image first, and then complete the image amplification by subpixel convolution, and finally the cascade structure completes the image step by step, and completes the image detail information enhancement; attribute approximately. The beam module and the perception module and the antagonistic model are trained together, and the performance of the reconstructed image is generated by the micro tuning. Finally, the invention will generate the reconstructed image of the network into the face verification network, and the accuracy of the face verification is improved.

【技术实现步骤摘要】
一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
本专利技术属于数字图像/视频信号处理领域，特别涉及一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法。
技术介绍
随着多媒体技术的快速发展和广泛应用，高质量的图像和视频越来越具有应用价值。在视频监控中，人脸是最重要的对象之一。然而，受采集距离、环境光照、压缩失真等各种因素的影响，视频监控等应用中的人脸图像往往是模糊不清、低分辨率的低质量图像，严重影响后续智能化人脸分析技术的应用。现有方法多采用基于深度学习的图像超分辨率复原方法改善低分辨率图像的图像质量，但是，这些方法多以提高图像主观质量或像素差PSNR为目标，难以有效提高人脸图像的机器识别率。因此，针对缺乏细节信息的人脸图像，研究面向识别的人脸可鉴别细节信息增强技术，具有重要的理论意义和实际应用价值。近年来，基于深度学习的图像复原技术受到了人们的关注，这类图像复原方法避免了传统方法的手工设计特征的过程，仅通过卷积神经网络CNN(ConvolutionalNeuralNetwork)端对端学习图像层级特征，得到低分辨率图像LR(LowResolution)与高分辨本文档来自技高网...

【技术保护点】
一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法，该方法的整体流程包括离线部分和在线部分；其特征在于，离线部分：包括训练样本库生成；网络训练；其中，训练样本库生成方法中包括HR图像人脸检测，人脸对齐和人脸降质；网络训练包括损失函数、优化算法的选取；在线部分：包括LR人脸图像特征提取；残差学习；图像放大；图像重建；重建后的人脸图像将被用来人脸验证；具体步骤如下：当输入图像含人脸对象时，先进行图像预处理，采用人脸检测，人脸对齐得到LR人脸图像，再对LR图像进行人脸图像复原；LR人脸图像复原包括特征学习和图像放大阶段；特征学习阶段包括特征提取、残差学习步骤，先对LR人脸图像进行特征提取，...

【技术特征摘要】
1.一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法，该方法的整体流程包括离线部分和在线部分；其特征在于，离线部分：包括训练样本库生成；网络训练；其中，训练样本库生成方法中包括HR图像人脸检测，人脸对齐和人脸降质；网络训练包括损失函数、优化算法的选取；在线部分：包括LR人脸图像特征提取；残差学习；图像放大；图像重建；重建后的人脸图像将被用来人脸验证；具体步骤如下：当输入图像含人脸对象时，先进行图像预处理，采用人脸检测，人脸对齐得到LR人脸图像，再对LR图像进行人脸图像复原；LR人脸图像复原包括特征学习和图像放大阶段；特征学习阶段包括特征提取、残差学习步骤，先对LR人脸图像进行特征提取，得到人脸图像的高频信息，再采用残差学习将LR人脸图像与它的高频信息相融合，得到LR高频信息融合图像；图像放大阶段包括图像放大，先对LR高频信息融合图像放大；重建图像；最后，为了验证人脸图像复原对人脸验证的影响，采用人脸验证模型测试其准确性；(2)对抗网络含有感知模块、对抗模块和属性约束模块；生成对抗网络包括一个生成网络和一个含三个子模块的对抗网络，三个模块的输入为成对的HR与GT即GroundTruth图像，它们的作用分别为：判断成对样本特征图的一致性、判断成对样本的1/0标签是否为1、判断HR图像的属性是否正确；生成网络由两个以上相同的残差子模块组合而成，每个子模块包括两个残差网络和一个亚像素模块；其中，残差网络由卷积层、BatchNormalization层和激活层堆叠而成，并采用跳跃连接将和Resnet模块的输入特征图与输出特征图进行融合；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块的输出作为生成网络的HR重建图像；对抗网络含有三个模块，分别为感知模块、对抗模块和属性约束模块；感知模块的网络结构分为a-e五个阶段，每个阶段由卷积层、激活层、池化层堆叠而成；感知模块的输入为成对的HR与GT图像，它们在感知模块的a-e五个阶段分别进行特征图对比，五个阶段的损失函数组合而成该模块的感知损失函数；对抗模块包括特征学习和分类部分；特征学习部分由卷积层、激活层堆叠而成；将DCGAN中全连接层前的网络结构作为特征学习部分；分类部分含有一个全局平均池化层和线性层；对抗模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值；属性约束模块与对抗模块的网络结构一致；在特征学习部分，属性约束模块与对抗模块的网络参数共享；在分类部分，属性约束网络针对影响人脸识别的重要属性进行分类；选取五种典型的人脸属性：“性别”，“年轻”，“黑发”，“金发”，“棕发”；属性约束网络的输出神经元仅对5种不同的人脸属性进行分类；(3)人脸验证准确性评估；人脸验证模块的输入为LR图像在GAN中生成网络的HR重建图像，输出为一个向量表示，采用欧几里得距离计算输出向量与真实向量之间的差异。2.根据权利要求1所述的方法，其特征在于：若进行更大倍数的图像放大，可以采用级联放大模块得到HR重建图...

【专利技术属性】
技术研发人员：李晓光，孙旭，卓力，李嘉锋，董宁，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11