基于特征分离学习的低分辨模糊人脸图像超分辨重建方法技术

本发明专利技术公开了一种基于特征分离学习的低分辨模糊人脸图像超分辨重建方法，主要解决现有技术中模糊因素影响低分辨模糊人脸图像超分辨重建，及超分辨结果存在伪影，造成超分辨结果不真实的问题；其方案是：通过构建的模糊特征网络生成作监督的模糊特征图；将低分辨率模糊人脸图像与作监督的模糊特征图输入到构建的特征分离网络分离得到清晰低分辨人脸图像；将分离后的清晰低分辨人脸图像输入到构建的超分辨网络中，得到清晰的高分辨人脸图像。本发明专利技术利用构建的特征分离网络能有效地分离出低分辨模糊人脸图像的模糊特征，并通过超分辨网络中的水平卷积层的处理，在提高人脸图像分辨率的同时消除了伪影，有效提升了超分辨的效果，可用于人脸识别。

【技术实现步骤摘要】
基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
本专利技术属于图像处理
，尤其涉及一种低分辨率模糊人脸图像超分辨率重建方法，可用于人脸识别。
技术介绍
人脸图像超分辨技术比自然图像超分辨技术更复杂。对于人脸图像超分辨中，不仅要提高图像分辨率，更要恢复人脸图像的结构信息和面部分纹理信息。对于低分辨率模糊人脸图像还要考虑如何解决模糊的问题。在现有技术中，图像超分辨方法包括传统的基于学习的超分辨率方法和基于深度学习的超分辨率方法。对于传统的基于学习的超分辨率方法，其学习到的是图像低层次的特征，而很难关注到图像更细微的结构特点。对于当前主流的基于深度学习的超分辨率方法，其又可以分为应用卷积神经网络的方法和应用生成对抗网络的方法。卷积神经网络中，网络层数的增加带来了图像质量的提升，但是，当输入的图像与超分辨图像的图像大小倍数相差较大时，以上方法得到的效果不是很好。对抗生成网络在当下备受青睐，但是其存在训练不稳定的问题。目前，对于低分辨率模糊人脸图像，如果单独使用去模糊方法无法解决低分辨率的问题；如果仅使用超分辨率方法，仍然存在模糊的细节；如果将这两种方法简单按顺序结合使用，其得到的结果会存在伪影的问题。这些超分辨率和去模糊方法尚不能同时有效的完成对低分辨率模糊人脸图像的恢复。XinyiZhang等人在ADeepDual-BranchNetworksforJointBlindMotionDeblurringandSuper-Resolution文章中提出了基于卷积神经网络的方法，来联合解决具有低分辨率模糊图像的去模糊和超分辨问题。该方法在原始的超分辨分支上同时增加了去模糊的分支，构成了双分支的网络结构，在获得统一特征后分别进行了去模糊和超分辨的任务。但文章中没有明确给出对人脸图像恢复的实验效果，所以对模糊的低分辨率人脸图像重建的效果无法得知。ChaoDong等人在Acceleratingthesuper-resolutionconvolutionalneuralnetwork文章中提出了基于卷积神经网络的方法，其通过使用成对的低分辨率和高分辨率人脸图像来学习映射关系，从而显示出良好的性能。但是，该方法由于使用卷积神经网络对低分辨率人脸图像进行高分辨率人脸图像重建，通过在提高图像的峰值信噪比和结构相似性指标来判断图像恢复的效果，其更关注于这两项指标的定量分析结果而没有关注图像的定性分析结果，因而，即使图像的峰值信噪比和结构相似性指标的分数很高，重建的高分辨率人脸图像也可能存在不真实。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于特征分离学习的低分辨模糊人脸图像超分辨重建方法，提高模糊的低分辨率人脸图像的分辨率。本专利技术的技术思路是：通过使用分离特征学习的方法对输入的模糊的低分辨率人脸图像在特征层进行分离模糊特征的处理；通过分离后得到的清晰的低分辨率人脸图像进行超分辨，实现从低分辨率模糊的人脸图像恢复出清晰的高分辨率人脸图像。其实现步骤包括如下：(1)从网上下载CelebA人脸数据集，并对其进行下采样，得到清晰的低分辨率人脸数据集，将该数据集的前三分之二作为清晰的低分辨率人脸图像训练数据集；再对清晰的低分辨率人脸数据集进行模糊的预处理，得到低分辨率模糊人脸数据集，将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和低分辨率模糊人脸测试数据集；(2)构建依次由生成器网络和判别器网络组成的模糊特征网络；(3)将低分辨率模糊人脸训练数据集输入到模糊特征网络，利用生成对抗的训练方式进行训练，得到训练好的模糊特征网络模型；(4)将低分辨率模糊人脸测试数据集输入到训练好的模糊特征网络模型中，得到模糊特征的数据集；(5)构建依次由一个编码器和两个并联的解码器组成的特征分离网络；(6)将低分辨率模糊人脸训练数据集和模糊特征数据集输入到特征分离网络，利用随机梯度下降的方式对其进行训练，得到训练好的特征分离网络模型；(7)将低分辨率模糊人脸测试数据集输入到训练好的特征分离网络模型中，得到清晰的低分辨人脸图像；(8)构建依次由一个水平卷积层、两个亚像素卷积层、一个水平卷积层组成的超分辨网络；(9)将清晰的低分辨人脸图像输入到超分辨网络中进行重建，得到清晰的高分辨人脸图像。本专利技术相比现有技术具有以下优点：第一，本专利技术由于构建了特征分离网络，可分离出低分辨模糊人脸图像的模糊特征，并能得到清晰的低分辨人脸图像，有利于对清晰的低分辨人脸图像进行超分辨，有效的解决了模糊因素对超分辨带来的影响。第二，本专利技术由于构建了依次由一个3x3的水平卷积层、两个亚像素卷积层和一个水平卷积层组成的超分辨网络，可提高特征图的分辨率，其利用第一个3x3的水平卷积层，能去除高分辨人脸图像的伪影，有效的解决了超分辨结果存在伪影的问题。附图说明图1是本专利技术的实现流程图；图2是本专利技术中模糊特征网络的网络结构图；图3是本专利技术中特征分离网络的网络结构图；图4是本专利技术中超分辨网络的网络结构图。具体实施方式以下结合附图对本专利技术的实施例进行详细说明。参照图1，本实例的实现步骤如下：步骤1，对网上下载到的CelebA人脸数据集进行预处理。1.1)对CelebA人脸数据集进行下采样：对于CelebA人脸数据集中尺寸为128×128的原始图像，利用双线性插值法进行8倍的下采样，得到即尺寸为16×16的清晰低分辨率人脸数据集，并将该数据集的前三分之二作为清晰的低分辨率人脸训练数据集；1.2)对低分辨率人脸数据集进行模糊处理：对下采样后的数据集，利用OrestKupyn在DeblurGAN:BlindMotionDeblurringUsingConditionalAdversarialNetworks文章中提出的模糊方法，对低分辨人脸数据集进行模糊处理，得到低分辨模糊人脸数据集，并将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和模糊低分辨率人脸测试数据集。步骤2，构建依次由生成器网络和判别器网络组成的模糊特征网络，如图2所示。2.1)建立依次由第1卷积层->第1残差密集连接块->第2残差密集连接块->第3残差密集连接块->第4残差密集连接块->第5残差密集连接块->第2卷积层级联组成的生成器网络，其中：每个残差密集块均依次由三个密集块组成，每个密集块包括五个卷积层和四个LeakyReLU激活函数，其结构为：第一卷积层->第一LeakyReLU激活函数->第二卷积层->第二LeakyReLU激活函数->第三卷积层->第三LeakyReLU激活函数->第四卷积层->第四LeakyReLU激活函数->第五卷积层,所有卷积层的大小均为3×3；2.2)建立依次由第Ⅰ卷积层->第ⅠLeakyReLU激活函数->第Ⅱ卷积层->本文档来自技高网...

【技术保护点】
1.一种基于特征分离的低分辨模糊人脸超分辨重建方法，其特征在于，包括：/n(1)从网上下载CelebA人脸数据集，并对其进行下采样，得到清晰的低分辨率人脸数据集，将该数据集的前三分之二作为清晰的低分辨率人脸图像训练数据集；再对清晰的低分辨率人脸数据集进行模糊的预处理，得到低分辨率模糊人脸数据集，将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和低分辨率模糊人脸测试数据集；/n(2)构建依次由生成器网络和判别器网络组成的模糊特征网络；/n(3)将低分辨率模糊人脸训练数据集输入到模糊特征网络，利用生成对抗的训练方式进行训练，得到训练好的模糊特征网络模型；/n(4)将低分辨率模糊人脸测试数据集输入到训练好的模糊特征网络模型中，得到模糊特征的数据集；/n(5)构建依次由一个编码器和两个并联的解码器组成的特征分离网络；/n(6)将低分辨率模糊人脸训练数据集和模糊特征数据集输入到特征分离网络，利用随机梯度下降的方式对其进行训练，得到训练好的特征分离网络模型；/n(7)将低分辨率模糊人脸测试数据集输入到训练好的特征分离网络模型中，得到清晰的低分辨人脸图像；/n(8)构建依次由一个水平卷积层、两个亚像素卷积层、一个水平卷积层组成的超分辨网络；/n(9)将清晰的低分辨人脸图像输入到超分辨网络中进行重建，得到清晰的高分辨人脸图像。/n...

【技术特征摘要】
1.一种基于特征分离的低分辨模糊人脸超分辨重建方法，其特征在于，包括：
(1)从网上下载CelebA人脸数据集，并对其进行下采样，得到清晰的低分辨率人脸数据集，将该数据集的前三分之二作为清晰的低分辨率人脸图像训练数据集；再对清晰的低分辨率人脸数据集进行模糊的预处理，得到低分辨率模糊人脸数据集，将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和低分辨率模糊人脸测试数据集；
(2)构建依次由生成器网络和判别器网络组成的模糊特征网络；
(3)将低分辨率模糊人脸训练数据集输入到模糊特征网络，利用生成对抗的训练方式进行训练，得到训练好的模糊特征网络模型；
(4)将低分辨率模糊人脸测试数据集输入到训练好的模糊特征网络模型中，得到模糊特征的数据集；
(5)构建依次由一个编码器和两个并联的解码器组成的特征分离网络；
(6)将低分辨率模糊人脸训练数据集和模糊特征数据集输入到特征分离网络，利用随机梯度下降的方式对其进行训练，得到训练好的特征分离网络模型；
(7)将低分辨率模糊人脸测试数据集输入到训练好的特征分离网络模型中，得到清晰的低分辨人脸图像；
(8)构建依次由一个水平卷积层、两个亚像素卷积层、一个水平卷积层组成的超分辨网络；
(9)将清晰的低分辨人脸图像输入到超分辨网络中进行重建，得到清晰的高分辨人脸图像。


2.根据权利要求1所述的方法，其特征在于，(2)中生成模糊特征网络中的生成器网络，其结构为：卷积层->第1残差密集连接块->第2残差密集连接块->第3残差密集连接块->第4残差密集连接块->第5残差密集连接块->第2卷积层，其中：
每个残差密集块均依次由三个密集块组成，每个密集块包括五个卷积层和四个LeakyReLU激活函数，其结构为：第一卷积层->第一LeakyReLU激活函数->第二卷积层->第二LeakyReLU激活函数->第三卷积层->第三LeakyReLU激活函数->第四卷积层->第四LeakyReLU激活函数->第五卷积层,
上述所有卷积层的大小均为3×3。


3.根据权利要求1所述的方法，其特征在于，(2)中生成模糊特征网络中的判别器网络，其结构为：第Ⅰ卷积层->第ⅠLeakyReLU激活函数->第Ⅱ卷积层->第ⅡLeakyReLU激活函数->第Ⅲ卷积层->第ⅢLeakyReLU激活函数->第Ⅳ卷积层->第ⅣLeakyReLU激活函数，其中：
所有卷积层的大小均为3×3，
所有LeakyReLU激活函数的数学表达示均为，



其中，x表示的是输入LeakyReLU激活函数的值，a表示的是(1，+∞)区间内的固定参数。


4.根据权利要求1所述的方法，其特征在于，(3)中利用生成对抗的训练方式对模糊特征网络进行训练，其实现如下：
(3a)设置训练的学习率为0.001，最大迭代次数为100；将模糊低分辨率人脸训练数据集按每批次16张输入到模糊特征网络的生成器网络，生成模糊特征；
(3b)将模糊特征与清晰的低分辨率人脸图像进行像素级相加，并得到合成的低分辨率模糊人脸图像；
(3c)将合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像分别输入到判别器网络中，利用得到的判别值计算合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像的判别损失LD：



其中，






IB表示的是低分辨率模糊人脸图像，Ifake表示的是合成的低分辨率模糊人脸图像；符号E表示的是取均值的运算符，函数表示对所有输入到判别器网络的低分辨率模糊人脸图像取...

【专利技术属性】
技术研发人员：韩红，弋宁宁，李康，鲁飞鸿，赵健，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61