使用卷积神经网络的面部超分辨率制造技术

使用双通道深度卷积神经网络(BCNN)的面部超分辨率，其可以自适应地融合两个通道的信息。在一个示例中，所述BCNN实现为从输入图像提取高等级特征。所提取的高等级特征与输入图像中的低等级细节组合，以产生较高分辨率图像。优选地，获得合适的系数，以自适应地组合所述高等级特征和所述低等级细节。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及图像处理，更具体地说，涉及生成较高分辨率面部图像。
技术介绍
面部识别系统对数字图像或视频帧执行图像处理，以自动地标识人。一些面部识别方法的性能可能极大地取决于面部图像的分辨率。例如，在标准清晰度监控视频中所捕获的可检测的面部可能仅为12乘12像素或更低的分辨率。这些低分辨率面部图像可能使得面部识别和分析的性能降级。为了改进低分辨率面部图像上的面部识别和分析的性能，执行面部超分辨率以推断具有更高分辨率的面部图像。在一种方法中，获得低等级特征以执行面部超分辨率。例如，全局本征面部或局部纹理片块的选取已经视为低等级特征。然而，低等级特征典型地对于外表的变化(例如姿势、分辨率程度以及运动模糊的变化情况)并非鲁棒的。因此，该方法一般受限于在受约束的条件下重构前面面部图像。在另一方法中，具有各种姿势和表情的大规模高分辨率训练面部集合用于执行面部超分辨率。例如，基于各种姿势和表情而生成低分辨率测试面部。然而，于在训练集合中未发现高度相似的面部的情况下，该方法可能不正确地生成较高分辨率面部图像。此外，因为模糊的片块可能并非描述得足够，所以如果低分辨率面部图像是模糊的，则该方法中所执行的面部超分辨率可能不正确地工作。在又一方法中，实现面部分量的结构信息，以执行面部超分辨率。例如，代替低等级特征，对于匹配片块而实现面部分量的结构信息。该方法极大地取决于精确的面部关键点以捕获结构信息。然而，从低分辨率面部图像捕获结构信息是困难的。此外，如果低分辨率面部图像是模糊的，则该方法中所执行的面部超分辨率可能不正确地工作。因此，出于面部识别和其它目的，需要更好的方法以执行面部超分辨率。
技术实现思路
本专利技术通过从较低分辨率面部图像生成较高分辨率面部图像来克服现有技术的限制。为了方便，较高分辨率面部图像可以有时称为超分辨率面部图像。一种方法自适应地组合低等级信息和高等级信息，以重构较高分辨率下的超分辨率面部图像。从原始输入面部图像推导低等级信息，并且从中间超分辨率面部图像获得高等级信息。合成原始输入图像和中间超分辨率面部图像在最终超分辨率图像(即输出面部图像或所重构的图像)上产生改进的精度。一个方面包括一种用于从输入面部图像生成较高分辨率输出面部图像的系统。在一种方法中，所述系统包括卷积神经网络(CNN)，其生成输入面部图像的面部表示。所述CNN包括卷积层、非线性化层和下采样层。所述系统还包括面部超分辨率器，其从所述面部表示生成超分辨率面部图像。所述超分辨率面部图像具有比所述输入面部图像更高的分辨率。此外，所述系统包括面部组合器，其将所述超分辨率面部图像与所述输入面部图像的上采样版本组合，以产生输出面部图像。在示例实现方式中，所述系统包括系数估计器，其从所述面部表示生成系数。在一种方法中，所述面部组合器生成所述输出面部图像作为所述超分辨率面部图像和所述输入面部图像的上采样版本的线性组合，其中，所述系数确定所述线性组合。所述系数估计器可以是从所述面部表示生成所述系数的神经网络。优选地，所述系数估计器是全连接神经网络。其它方面包括与前述方面有关的组件、设备、系统、改进、方法、处理、应用和其它技术。附图说明本专利技术具有当结合附图时将从本专利技术的具体实施方式和所附权利要求更容易理解的其它优点和特征，其中：图1是面部识别系统的简化示图。图2是示例面部合成器模块的示图。图3是示例双通道卷积神经网络的示图。图4是执行面部识别的方法的流程图。图5是执行面部超分辨率的方法的流程图。图6绘制用于不同的高斯模糊的系数α的概率密度函数。图7示出具有不同的高斯模糊和运动模糊的输入面部图像上的各种面部超分辨率的定性比较。图8示出关于对低分辨率输入面部图像和高分辨率输出面部图像执行的关键点检测的示例。图9A绘制具有高斯模糊的输入面部图像和超分辨率面部图像上的关键点检测的误差。图9B绘制具有运动模糊的输入面部图像和超分辨率面部图像上的关键点检测的误差。图10A是用于比较具有高斯模糊的输入图像和超分辨率面部图像上的面部识别的性能的柱状图。图10B是用于比较具有运动模糊的输入图像和超分辨率面部图像上的面部识别的性能的柱状图。附图仅为了说明的目的而描述本专利技术实施例。本领域技术人员从以下讨论将容易理解，在不脱离在此所描述的本专利技术的原理的情况下，可以采用在此所示的结构的替选实施例。具体实施方式附图和以下描述仅通过说明的方式与优选实施例有关。应注意，从以下讨论，在此所公开的结构和方法的替选实施例将容易地理解为在不脱离本专利技术的原理的情况下可以采用的可行替选。所公开的面部识别系统和方法执行面部超分辨率。在一种方法中，面部超分辨率是基于合成输入面部图像的低等级信息和高等级信息的。在一个方面中，面部超分辨率实现深度卷积神经网络(CNN)，以从低分辨率输入图像推断较高分辨率图像。深度CNN被实现以从输入图像提取高等级特征。所提取的高等级特征与输入图像中的低等级细节组合，以产生较高分辨率图像。优选地，获得系数，以自适应地组合高等级特征和低等级细节。该方法中所执行的面部超分辨率能够处理具有大的外表变化(例如，姿势、分辨率程度和运动模糊的变化条件)的图像，而不依赖于面部关键点。面部识别概述图1是根据一个实施例的面部识别系统100的简化示图。面部识别系统100接收低分辨率(例如15乘15像素)下的目标面部图像110T，并且尝试识别面部(即，将面部与特定个体关联)。面部识别系统100还接收用于已知个体的基准面部图像110R。基准面部图像110R可以具有与目标面部图像110T相比的相同或不同分辨率。如果目标面部图像110T为低分辨率，则一般基准面部图像110R将具有较高分辨率。面部识别系统100执行分析以生成度量150，以指示目标面部图像110T中的个体是否与基准面部图像110R中的个体相同。面部识别系统100可以具有用于不同个体的基准面部图像110R的大数据库，并且可以将目标面部图像110T与很多不同的基准面部图像110R进行比较，以关于目标面部图像110T标识个体。面部识别系统100包括面部合成器模块120、分析模块130和处理器140。面部识别系统100可以还包括关键点检测模块(未示出)，其从面部合成器模块120的输出检测面部关键点。这些模块中的每一个可以实施为硬件、软件、固件或其组合。同时，这些模块执行面部识别并且确定两个面部图像110中的主体相同与否。面部合成器模块120接收低分辨率的目标面部图像110T作为输入，并且生成较高分辨率图像(即，超分辨率图像)作为输出。在一种方法中，面部合成器模块120被实现为双通道卷积神经网络(BCNN)，以推断较高分辨率图像。在一个方面中，BCNN的一个通道被训练，以获得目标面部图像110T的中间超分辨率面部图像，并且BCNN的另一通道被训练，以获得系数。BCNN基于系数而自适应地组合目标面部图像110T和中间超分辨率面部图像，以产生较高分辨率图像作为输出。分析模块130确定基准面部图像110R中的主体和目标面部图像110T中的主体是否匹配。分析模块130从面部合成器模块120获得较高分辨率面部图像。对于先前可用的面部图像，可以预先执行面部超分辨率，在此情况下，分析模块130可以从数据库检索超分辨率图像。此外，分析模块130可以基本文档来自技高网...

【技术保护点】
一种用于从输入面部图像生成较高分辨率输出面部图像的系统，所述系统包括：卷积神经网络(CNN)，其生成输入面部图像的面部表示，所述CNN包括卷积层、非线性化层和下采样层；面部超分辨率器，其从所述面部表示生成超分辨率面部图像，所述超分辨率面部图像具有比所述输入面部图像更高的分辨率；以及面部组合器，其将所述超分辨率面部图像与所述输入面部图像的上采样版本组合，以产生输出面部图像。

【技术特征摘要】
【国外来华专利技术】1.一种用于从输入面部图像生成较高分辨率输出面部图像的系统，所述系统包括：卷积神经网络(CNN)，其生成输入面部图像的面部表示，所述CNN包括卷积层、非线性化层和下采样层；面部超分辨率器，其从所述面部表示生成超分辨率面部图像，所述超分辨率面部图像具有比所述输入面部图像更高的分辨率；以及面部组合器，其将所述超分辨率面部图像与所述输入面部图像的上采样版本组合，以产生输出面部图像。2.如权利要求1所述的系统，其中，所述面部表示是所述输入面部图像中的特征的表示，并且所述CNN从所述输入面部图像提取所述特征。3.如权利要求2所述的系统，其中，所述CNN包括从较低等级特征进展到较高等级特征的级联的两个或更多个CNN层。4.如权利要求1所述的系统，其中，所述面部超分辨率器是从所述面部表示生成所述超分辨率面部图像的神经网络。5.如权利要求4所述的系统，其中，所述面部超分辨率器是全连接神经网络。6.如权利要求1所述的系统，还包括：系数估计器，其从所述面部表示生成系数，其中，所述面部组合器生成所述输出面部图像作为所述超分辨率面部图像和所述输入面部图像的上采样版本的线性组合，并且所述系数确定所述线性组合。7.如权利要求6所述的系统，其中，所述系数估计器是从所述面部表示生成所述系数的神经网络。8.如权利要求7所述的系统，其中，所述系数估计器是全连接神经网络。9.如权利要求1所述的系统，其中，所述上采样是基于双三次插值的。10.如权利要求1所述的系统，其中，所述输出面部图像包含所述输入面部图像中的像素数量的至少四倍。11.如权利要求1所述的系统，其中，所述输出面部图像是至少100x100像素。12.如权利要求1所述的系统，其中，所述输入面部图像不多于50x50像素。13.如权...

【专利技术属性】
技术研发人员：印奇，曹志敏，周而进，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京;11