一种面向低光照低分辨率的人脸图像幻构方法技术

本发明专利技术涉及一种面向低光照低分辨率人脸图像幻构方法，基于低光照图像特点，通过提出改进的密集U型网络将低光照的图像进行亮度增强，生成初步的亮度增强图像；基于人脸图像特征，通过提出级联的漏斗网络，依次生成人脸结构特征图，人脸细节特征图，约束人脸图像的生成；通过级联的密集U型网络依次生成整张人脸图和人脸细节信息。将初步的亮度增强图像和约束表达的人脸图像进行融合，并通过级联的卷积模块，重建出高清晰度高分辨率的人脸图像。本发明专利技术可提高低光照任意低分辨率人脸图像的清晰度，能广泛应用于监控，摄影等领域。

【技术实现步骤摘要】
一种面向低光照低分辨率的人脸图像幻构方法
本专利技术属于图像超分领域，特别涉及一种面向低光照低分辨率的人脸图像幻构方法。
技术介绍
在实际监控系统中，由于拍摄距离以及光照等等环境影响，所获取的往往是低光照和低分辨率的人脸图像，难以满足实际需求。如何改善图像的质量，提高人脸的分辨率并且优化图像光照，从而提升图像的清晰度和辨识度是极具挑战的研究。人脸幻构算法是解决以上问题的较经济且重要的解决方案之一。该算法通过解析所获取低质量人脸的图像特征，结合人脸样本库的训练模型，从而构建出高清晰高分辨率人脸图像。已有的人脸幻构算法(文献1，文献2)通过搭建深度学习网络，并引入图像的小波分解以及人脸特征信息对图像信息进行充分挖掘，更好地表达出清晰精细的特征纹理，从而较好地提升模型图像地重建性能。但是该类方法将低质量人脸图像设定为某固定尺度以及理想的光照质量，在实际应用过程中，很难适用于姿态各异，尺度变化以及环境干扰等条件下的人脸图像，具有很大的局限性。相关文献如下：[1]J.Jiang,R.Hu,Z.Wang,andZ.Han,“Noiserobustfacehallucinationvialocality-constrainedrepresentation,”IEEETransactionsonMultimedia,vol.16,no.5,pp.1268–128[2]C.Ma,Z.Jiang,Y.Rao,J.Lu,andJ.Zhou,“Deepfacesuper-resolutionwithiterativecollaborationbetweenattentiverecoveryandlandmarkestimation,”inIEEEConferenceonComputerVisionandPatternRecognition(CVPR),June20
技术实现思路
为了解决以上所存在的技术问题，本专利技术提出了一种面向低质量图像的任意尺度低光照人脸图像幻构技术，该方法基于低质量人脸图像的两个特点：“人脸特征检测”和“人脸纹理信息相关”，设计了一种端到端结合注意力模块(AttentionModule，AM)，人脸增强模块(FaceEnhancementModule，FEM)以及亮度增强模块(Low-lightEnhancementModule，LEM)三模块的增强网络。本专利技术的技术方案是一种面向低光照低分辨率人脸图像的重建方法，基于人脸图像特征，通过结合注意力模块，人脸增强模块以及亮度增强模块来适用于低光照任意尺度人脸图像的表达能力，重建实现过程如下，步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。进一步的，步骤1的具体实现方式如下；步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置训练集、验证集、测试集；步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数CRF进行亮度以及亮度所引起噪声的图像仿真，仿真函数为其中f表示的CRF中所标注的201个曲线，DM表示去马赛克函数，Γ是低光照的强度，L是原始图，n(L)表示图像噪声；通过该仿真函数，将自然图像转化为低光照人脸；然后采用双三次线性下采样k倍，得到低分辨率低光照人脸图像Il，并将低分辨率低光照人脸图像Il作为残差网络的输入数据；步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征Ifeat。进一步的，所述残差网络包括两个级联的卷积层单元，其中每个单元包括三个级联的卷积层以及一个子像素卷积层，其中子像素卷积层用于图像超分过程中特征图分辨率的放大。进一步的，步骤2的具体实现方式如下；步骤2.1，残差网络提取的特征数据Ifeat输入注意力模块；首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征图Is和人脸五官轮廓的特征图Id；步骤2.2，特征数据Ifeat输入人脸增强模块，通过一个密集U型网络，并与人脸位置特征图Is进行逐像素相乘，得到人脸幻构的输出结果I′f；然后，I′f输入另一个相同结构的密集U型网络，并与人脸五官轮廓特征图Id进行逐像素相乘，然后与I′f进行相加，生成出人脸幻构的优化结果If；步骤2.3，特征数据Ifeat同时输入亮度增强模块，通过一个相同结构的密集U型网络，生成出亮度增强的初步结果Iw。进一步的，所述沙漏网络包括m个级联的残差卷积单元，残差卷积单元基本单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法连接，残差单元为对称的两两连接结构，m为偶数。进一步的，所述密集U型网络包括用于特征提取的级联的l对两两关联连接并对称的卷积层单元和反卷积层单元，一个特征拼接和级联多个卷积层的重建单元，卷积层单元包括两个卷积层和一个最大池化层，反卷积层单元包括一个反卷积层和两个卷积层，反卷积层适用于特征的进一步强化；同时为了强化输出与传递过程的特征之间的关联，在前l-1个反卷积层单元分别外接了反卷积特征提取；其中特征拼接是将外接反卷积生成特征与最后一个反卷积单元的输出特征进行拼接。进一步的，还包括步骤4，采用验证集和测试集分别验证和测试人脸幻构的图像性能，并将图像的峰值信噪比PSNR和结构相似度SSIM作为图像质量客观指标评价标准。采用以上技术方案，本专利技术可适用于监控或者拍摄环境下，受到低光照和距离因素等降质影响，导致人脸图像不清晰，人脸特征表达不明等情况的问题，从而提升低质量人脸图像的辨识能力。与现有技术相比较，本专利技术具有以下有点和效果：1)与现有技术相比，本专利技术面向了一个新的研究课题，即实际拍摄的低质量人脸图像会同时受到低光照和不同尺度低分辨率的影响，从而不易幻构重建的问题。2)与现有技术相比，本专利技术提出了一个基于注意力模块，亮度增强模块以及人脸增强模块特征融合的人脸幻构框架。3)与现有技术相比，本专利技术引入人脸特征，且利用其特性约束人脸图像增强，实现低质量的人脸幻构技术，恢复人脸细节，提升人脸辨识度和清晰度，可应用于实际的人脸图像。附图说明图1是本专利技术实施例的主流程图。图2是本专利技术实施例的网络结构图。图3是本专利技术实施例的密集U型网络。图4是本专利技术实施例的沙漏网络。具体实施方式为了便于相关领域技术人员理解和实施本专利技术，下面结合附图即实施例对本专利技术作进一步的详细描述，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。本专利技术的技术方案是一种面向低光照低分辨率人脸图像本文档来自技高网...

【技术保护点】
1.一种面向低光照低分辨率的人脸图像幻构方法，其特征在于，包括如下步骤：/n步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；/n步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；/n步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。/n

【技术特征摘要】
1.一种面向低光照低分辨率的人脸图像幻构方法，其特征在于，包括如下步骤：
步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；
步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。


2.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤1的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数CRF进行亮度以及亮度所引起噪声的图像仿真，仿真函数为其中f表示的CRF中所标注的201个曲线，DM表示去马赛克函数，Γ是低光照的强度，L是原始图，n(L)表示图像噪声；通过该仿真函数，将自然图像转化为低光照人脸；然后采用双三次线性下采样k倍，得到低分辨率低光照人脸图像Il，并将低分辨率低光照人脸图像Il作为残差网络的输入数据；
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征Ifeat。


3.如权利要求1或2所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述残差网络包括两个级联的卷积层单元，其中每个单元包括三个级联的卷积层以及一个子像素卷积层，其中子像素卷积层用于图像超分过程中特征图分辨率的放大。


4.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤2的具体实现方式如下；
步骤2.1，残差网络提取的特征数据Ifeat输入注意力模块；首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，所述注意力模块包括两个级联的沙漏网络，分别训...

【专利技术属性】
技术研发人员：胡瑞敏，肖晶，丁新，方婧，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42