一种人脸图像超分辨率二次重建方法技术

本发明专利技术公开了一种人脸图像超分辨率二次重建方法，首先对采集的监控视频进行人脸检测与目标提取，获得一定量(20‑30帧)的目标人脸图像，基于评估模型对获取的图像进行质量评估，择优选择多帧(3‑5帧)。其次对上述结果进行超分辨率重建，使多帧图像合成为一高质量虚拟图像。再次构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于学习高分辨率样本图像与相应低分辨图像的映射关系；该模型以去除池化层的inception结构为基础，采用了降低学习难度的残差学习思想，使用了可以全面提取特征的多尺度聚合模块并加入反卷积层代替插值操作。最后用第三步的训练模型对第二步进行训练，得到高分辨率人脸图像。本发明专利技术能在可控的训练时间内，提高重建效果。

A Super-resolution Secondary Reconstruction Method for Face Images

The invention discloses a method for super-resolution secondary reconstruction of face image. Firstly, face detection and target extraction are carried out on the collected surveillance video to obtain a certain amount of target face images (20 30 frames). Based on the evaluation model, the quality of the acquired images is evaluated, and multiple frames (3 5 frames) are selected. Secondly, the above results are reconstructed with super-resolution to synthesize multi-frame images into a high-quality virtual image. Thirdly, a super-resolution reconstruction model MRES based on convolution neural network CNN is constructed to learn the mapping relationship between high-resolution sample images and corresponding low-resolution images. The model is based on inception structure which removes the pooling layer, adopts residual learning idea which reduces learning difficulty, and uses multi-scale aggregation module which can extract features comprehensively and adds deconvolution. Layers replace interpolation operations. Finally, the training model of the third step is used to train the second step to obtain high resolution face images. The invention can improve the reconstruction effect in a controllable training time.

【技术实现步骤摘要】
一种人脸图像超分辨率二次重建方法
本专利技术涉及图像处理和计算机视觉技术，具体涉及人脸图像超分辨率二次重建方法。
技术介绍
近年来，公共场所的安全问题一直是一个备受人们关注的问题，特别是在人口密集的场所。国家为了城市管理和治安防控，提出了天网工程。因此，以后的监控系统会越来越普及。由于拍摄距离和角度及监控设备本身的分辨率等问题，产生的人脸图像有时会模糊、残缺、噪声多、尺寸小，影响识别。超分辨率重建就是由一幅或多幅低分辨率图像通过软件方法处理得到高分辨率图像，以利于识别。现在常用的超分辨率重建技术可以概括为以下两种：基于重构和基于学习。其中基于重构的方法通过对图像采集的过程建模，再利用一些从图像中获取的先验知识来约束求解过程。主要的重建模型框架有以傅里叶变换为基础框架(TsaiandHuang,1984)、迭代反投影法(IraniandPeleg,1991)、凸集投影法(StarkandOskoui,1989)、最大似然法(TomandKatsaggelos,1994)、最大后验估计法(SchulltzandStevenson,1996；Yuanetal.,2010)等,当前绝大多数超分辨率重建方法都是以这些模型方法中的一个或多个为基础在不同的理论和应用方面的进一步发展。传统的思路为先求解运动位移矢量和模糊函数的参数后再进行超分辨率重建。后来，学者们提出对参数矢量和超分辨率图像进行联合求解，如沈焕锋将图像配准直接在高分辨率图像网格上进行，Segall等提出了对运动参数和超分辨率图像同时求解的方法等。这些方法利用参数与超分辨率图像之间的关系相互制约、相互促进、逐步迭代，使得求解向着有利的方向发展，得到最终的参数及超分辨率图像的最优解。基于学习的方法为通过学习高低分辨率图像之间的映射关系对低分辨率图像进行超分辨率重建。其中，基于深度学习的方法比传统的方法具有更强大的表征能力脱颖而出，特别是从卷积神经网络引入超分辨率重建开始(Dong，LoyC，HeK，etal.2014)。
技术实现思路
本专利技术的目的是将从监控视频中获得的低分辨率人脸图像进行重建，恢复图像的细节，以利于人脸识别，为此提出了一种人脸图像超分辨率二次重建方法。本专利技术采用的技术方案是：人脸图像超分辨率二次重建方法包括以下步骤：步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的图像；步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量相对较好的虚拟人脸图像；步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习。步骤4,利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。进一步，所述步骤1具体包括：步骤1.1，首先对摆放位置不太合理的监控摄像头位置方向进行调整，获取过路行人视频；然后对一小段时间内目标人脸进行检测和提取，得到多帧目标人脸图像。步骤1.2，通过图像质量评估模型择优选择多帧，图像质量评估模型具体内容为：①通过矩阵的对称性来评估图像的正面性；②通过矩阵的核范数来表示图像的清晰度；图像的秩可以简单理解为图像所包含信息的丰富程度，所以可以利用图像的秩来表示图像的清晰度。由于图像的秩近似为矩阵的核范数，所以使用核范数来表示图像的清晰度；③利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度；④利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小；通过加权和归一的方式来作为综合评价依据，选择5-8帧；将评分最高的图像作为参考图像，并从选择出的几帧图像中挑选3帧(左右)与参考图像的运动变化最小的图像。进一步，所述步骤2具体包括：步骤2.1，先对择优选择出的多帧图像进行灰度化处理，减少色彩对图像处理的干扰，也可以降低维度，大大减少工作量。步骤2.2，使用基于重构的方法对多帧人脸图像进行超分辨率重建；多帧人脸图像超分辨率重建方法主要过程如下：步骤2.2.1，使用运动估计方法,如光流法来对多帧人脸图像进行配准。步骤2.2.2，对模糊函数进行求解，即对成像系统的PSF进行估计。步骤2.2.3，选择合适的图像超分辨率重建模型，如最大后验估计方法。步骤2.2.4，对运动参数矢量、模糊函数和图像超分辨率重建图像进行联合求解，得到最优解。进一步，所述步骤3为构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，如图2所示。MRES模型主要包括以下内容：①多尺度聚合模块：如图3所示，以inception结构为基础进行改变。具体变化为去除其中的池化层，并在5*5和3*3的卷积层前再添加一个1*1的卷积层。变化后的多尺度聚合模块同时使用不同大小的卷积核，可以提取不同的特征，增加了特征的多样性，并通过过滤器级联来融合来实现特征融合。②残差块：如图4所示，采用残差学习的思想，即通过添加一个恒等映射x将学习目标H(x)＝F(x)+x变为F(x)，其中F(x)为输入图像与输出图像之间的差别，即残差。通过这种方法学习到的残差图像比较稀疏，大部分值都为0或者比较小，因此收敛速度快。残差网络可以加深网络深度，特征的等级随着网络深度加深变高。极其深的深度使该网络拥有及强大的表达能力。③反卷积层：加入反卷积层后的网络，不需要先将输入的图片进行插值，即直接将低分辨率图像映射到高分辨率图像，加快了运行速度。如图5所示，蓝色为原图像，白色为对应卷积所增加的padding，通常全部为0，绿色是卷积后图片。可以看到卷积后的图像是4*4，比原图2*2大了。④激活函数：选用的激活函数为PReLU，激活函数的引入是为了增加神经网络模型的非线性。PReLU的函数公式为f(x)＝max(ax,x)，函数图像如图6所示：进一步，所述步骤4具体包括：利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。训练过程为通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现，得到需要的估计参数θ＝{W1；W2；..Wn；B1；B2；..Bn},其中W为第i(i＝1,,,,n)层卷积神经网络的系数，B是第i层卷积神经网络的偏置向量，n为卷积神经网络的层数。这里的损失函数可以取均方损失函数MSE。本专利技术的有益效果是：高分辨率重建图像意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取高分辨率重建图像具有重要的现实意义。因此这里提出一种通过软件的办法，即人脸图像超分辨率二次重建方法。利用图像质量评估的方法，选择相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的人脸图像，为进一步的操作打下基础。利用多帧图像超分辨率重建可以有效的利用视频中的时间信息，将其转换为空间信息。利用基于MRES模型的单帧超分辨率重建可以有效快速的恢复细节。该模型通过多尺度聚合模块添加了网络的宽度，通过残差学本文档来自技高网...

【技术保护点】
1.人脸图像超分辨率二次重建方法，其特征在于，包括以下步骤：步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的图像。步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量相对较好的虚拟人脸图像。步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建MRES模型，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习；步骤4,训练得到最终的高分辨率人脸图像。

【技术特征摘要】
1.人脸图像超分辨率二次重建方法，其特征在于，包括以下步骤：步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的图像。步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量相对较好的虚拟人脸图像。步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建MRES模型，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习；步骤4,训练得到最终的高分辨率人脸图像。2.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤1具体包括：首先对摆放位置不太合理的监控摄像头位置方向进行调整，获取过路行人视频，然后对一小段时间内目标人脸进行检测和提取，得到一定量的目标人脸图像；其次通过图像质量评估模型择优选择多帧。3.根据权利要求2所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤1目标人脸图像进行质量评估的具体内容为：通过矩阵的对称性来评估图像的正面性；通过矩阵的核范数来表示图像的清晰度；图像的秩可以简单理解为图像所包含信息的丰富程度，所以可以利用图像的秩来表示图像的清晰度；由于图像的秩近似为矩阵的核范数，所以使用核范数来表示图像的清晰度；利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度；利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小；通过加权和归一的方式来作为综合评价依据，选择5-8帧；将评分最高的图像作为参考图像，并从选择出的几帧图像中挑选3帧与参考图像的运动变化最小的图像。4.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤2的具体过程为：步骤2.1，先对择优选择出的多帧图像进行灰度化处理，减少色彩对图像处理的干扰，也可以降低维度，大大减少工作量；步骤2.2，使用基于重构的方法对多帧人脸图像进行超分辨率重建；多帧人脸图像超分辨率重建方法主要过程如下：步骤2.2.1，使用运动估计方法,如光流法来对多帧人脸图像进行配准；步骤2.2.2，对模糊函数进行求解，即成像系统的PSF进...

【专利技术属性】
技术研发人员：周莲英，倪若婷，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32