一种基于生成对抗网络的红外人脸图像超分辨率重建方法技术

本发明专利技术涉及一种基于生成对抗网络的红外人脸图像超分辨率重建方法，包括以下步骤：构建红外人脸数据库；对人脸数据库中的图像按眼睛相对位置进行对齐；将对齐后的每幅图按不同的比例S进行缩放，生成其一一对应的不同缩放比例的低分辨率的人脸图像，并构建超分辨率重建训练数据集、验证数据集和测试数据集；采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练，完成红外人脸图像超分辨率重建；生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。本发明专利技术设计合理，有效保证了GAN训练的稳定性，极大地提高了人脸图像重建效果，提高红外人脸识别的准确率，可广泛用夜间红外摄像场合。

【技术实现步骤摘要】
一种基于生成对抗网络的红外人脸图像超分辨率重建方法
本专利技术属于红外图像处理
，尤其是一种基于生成对抗网络的红外人脸图像超分辨率重建方法。
技术介绍
在现有的视频监控网络中，往往要求实现24小时全天候监控功能，在夜间采光不好时，红外摄像就成为必选项。但是，红外面阵相机由于其内在工作原理的影响分辨率一般不高，典型的大小为640*512，而且监控环境中人脸所占区域在整幅图像中占比小，从而导致获得的红外人脸图像分辨率低。因此提高红外人脸识别分辨率对于提高红外人脸图像的识别，提高夜间监控效果具有重要的实际意义。为了提高红外人脸图像的分辨率，一方面可以从硬件着手，如提高红外感光器件的精度的排列密度，但在现有技术条件下有一定困难，且成本较高；另一方面从算法理论方面进行探索，通过软件后期处理方式提高红外图像分辨率，即超分辨率(Super-Resolution，SR)技术。SR主要是利用信号处理方法从单帧或者多帧低分辨图像中获得高分辨图像。近期自从SRCNN(ChaoDong,ChenChangeLoy,KaimingHe,XiaoouTang.ImageSuper-ResolutionUsingDeepConvolutionalNetworks,IEEETransactionsonPatternAnalysisandMachineIntelligence(TPAMI),Preprint,2015)提出后采用深度学习方法在可见光图像处理方面取得了长足进展。SRGAN(Photo-RealisticSingleImageSuper-ResolutionUsingaGenerativeAdversarialNetwork,arxiv,21Nov,2016)首次将生成式对抗网络(GAN)用于SR问题。英伟达公司的TeroKarras等人提出了ProgressiveGAN的方法(ProgressiveGrowingofGANsforImprovedQuality,Stability,andVariation，arxiv1710.10196,27Oct,2017)得到更高分辨率的图像。在红外图像超分辨率方面，经检索发现如下专利文献：CN201710153279，一种基于稀疏表示的红外图像超分辨率重建方法；CN201710282054，一种基于深度学习的近红外人脸图像超分辨率重建方法；CN104680502B，基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法。以上方法红外人脸图像超分辨率在清晰度的提升存在很大的提升空间。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种基于生成对抗网络的红外人脸图像超分辨率重建方法，其利用生成对抗网络技术，逐级提高分辨率，最终利用一幅低分辨率人脸图像重建出其对应的高分辨率人脸图像的方法，提高红外人脸识别等的效果。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于生成对抗网络的红外人脸图像超分辨率重建方法，包括以下步骤：步骤1、采用红外摄像机采集人脸近距离红外图像，构建红外人脸数据库；步骤2、对人脸数据库中的图像按眼睛相对位置进行对齐；步骤3、将对齐后的每幅图按不同的比例S进行缩放，生成其一一对应的不同缩放比例的低分辨率的人脸图像，并构建超分辨率重建训练数据集、验证数据集和测试数据集；步骤4、构建对抗生成网络，采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练，完成红外人脸图像超分辨率重建；步骤5：生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。进一步，所述步骤3的比例S包括16:1、8:1、4:1。进一步，所述步骤4构建的对抗生成网络，包括生成网络G和判别网络D，该生成网络G根据红外低分辨率图像Il生成图像Ig；图像Ig和红外高分辨率图像Ih分别作为判别图络D的输入，由判别网络D判断是真是假；生成网络G的目标是尽可能生成真实的红外高分辨率图像欺骗判别网络D，判别网络D的目标是提高自己的判断能力，生成网络G和判别网络D在对抗中不断完善提高自己的能力。进一步，所述步骤4对抗生成网络训练时采用WGAN-GP损失函数,并且采用基于批量梯度下降的Adam方法训练网络，批处理大小取16。进一步，所述步骤4每个低分辨率的对抗生成网络训练完成后，还需要对原对抗生成网络进行扩充。本专利技术的优点和积极效果是：1、本专利技术设计合理，其在近红外条件下将对抗性生成网络(GAN)方法用于人脸超分辨率的重建中，能够重建出高质量的红外超分辨率人脸图像；对对抗性生成网络(GAN)采用逐步增长的训练方式，有效保证了GAN训练的稳定性，极大地提高了人脸图像重建效果。2、本专利技术采用条件式生成对抗网络；逐级增加生成式对抗网络中生成网络和判别网络的层数，高层逐级融入低层信息，逐级训练；最终获得一个可根据低分辨率的红外人脸自动生成高分辨率的人工神经网络模型；借助此模型可以实现低分辨率红外人脸输入，输出高分辨率红外人脸输出，可以大幅度提高红外人脸图像的分辨率，可广泛用夜间红外摄像场合，提高红外人脸识别的准确率。附图说明图1为本专利技术中的抗性生成网络的示意图；图2为本专利技术中的抗性生成网络中随着分辨率提高逐级增加新的网络层的示意图。具体实施方式以下结合附图对本专利技术实施例做进一步详述。一种基于生成对抗网络的红外人脸图像超分辨率重建方法，包括以下步骤：步骤1、采用红外摄像机采集人脸近距离红外图像，构建红外人脸数据库。步骤2、对红外人脸数据库中图像按眼睛相对位置进行对齐。步骤3、将对齐后的红外人脸数据库中的每幅图按不同的比例S(16:1、8:1、4:1)进行缩放，生成其一一对应的不同缩放比例的低分辨率的人脸图像，整个数据集随机选择并按照7:2:1的关系构建超分辨率重建训练数据集、验证数据集、测试数据集。在本实施例中，低分辨率人脸图像大小为8X8像素、16X16像素和32X32像。步骤4、从低分辨率红外人脸图像到较高分辨率红外人脸图像数据集，采用对抗生成网络(GAN)进行逐步训练。先训练一个小分辨率的图像生成，训练好以后再逐步过渡到更高分辨率的图像(相应GAN网络结构作相应调整)。本步骤的具体实现方法为：步骤4.1、构建对抗生成网络。如图1所示，该对抗生成网络由两部分组成：生成网络G和判别网络D。生成网络根据红外低分辨率图像Il生成图像Ig；Ig和红外高分辨率图像Ih分别作为判别图络D的输入，由D判断是真是假。G的目标是尽可能生成真实的红外高分辨率图像欺骗D，D的目标是提高自己的判断能力，G和D在对抗中不断完善提高自己的能力。对抗生成网络进行训练时采用的损失函数采用WGAN-GP(GulrajaniI,AhmedF,ArjovskyM,etal.Improvedtrainingofwassersteingans.AdvancesinNeuralInformationProcessingSystems.2017:5769-5779.)。采用基于批量梯度下降的Adam方法训练网络，批处理大小取16。步骤4.2、每个针对低分辨率的GAN训练完成后，需要对原GAN网络进行扩充。以图2为例说明。图2展示了在完成16*16的红外低分辨率训练后(a)，由(b)逐渐过渡到32*32红外分辨率(c)的过程。2x、本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的红外人脸图像超分辨率重建方法，其特征在于包括以下步骤：步骤1、采用红外摄像机采集人脸近距离红外图像，构建红外人脸数据库；步骤2、对人脸数据库中的图像按眼睛相对位置进行对齐；步骤3、将对齐后的每幅图按不同的比例S进行缩放，生成其一一对应的不同缩放比例的低分辨率的人脸图像，并构建超分辨率重建训练数据集、验证数据集和测试数据集；步骤4、构建对抗生成网络，采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练，完成红外人脸图像超分辨率重建；步骤5：生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。

【技术特征摘要】
1.一种基于生成对抗网络的红外人脸图像超分辨率重建方法，其特征在于包括以下步骤：步骤1、采用红外摄像机采集人脸近距离红外图像，构建红外人脸数据库；步骤2、对人脸数据库中的图像按眼睛相对位置进行对齐；步骤3、将对齐后的每幅图按不同的比例S进行缩放，生成其一一对应的不同缩放比例的低分辨率的人脸图像，并构建超分辨率重建训练数据集、验证数据集和测试数据集；步骤4、构建对抗生成网络，采用低分辨率到高分辨率的逐步扩展方式进行对抗生成网络训练，完成红外人脸图像超分辨率重建；步骤5：生成从低分辨红外人脸图像到高分辨率红外人脸图像的变换网络。2.根据权利要求1所述的一种基于生成对抗网络的红外人脸图像超分辨率重建方法，其特征在于：所述步骤3的比例S包括16:1、8:1、4:1。3.根据权利要求1所述的一种基于生成对抗网络的红外人脸图像超分辨率重建方法...

【专利技术属性】
技术研发人员：任德华，吴超，柳映辉，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：天津,12