一种基于SNGAN网络的单幅人脸图像超分辨方法及系统技术方案

本发明专利技术公开了一种基于SNGAN网络的单幅人脸图像超分辨方法及系统，包括：收集高分辨率人脸图像，采用双三次插值的方法进行下采样，获得相应的低分辨率人脸图像，并随机将其分成训练集和测试集；将训练集中的低分辨率人脸图像输入到生成网络G中进行训练，输出重建的超分辨率图像；将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中；由判别网络判断图像是来自生成网络G还是原始高分辨率图像，若判别为原始高分辨率图像，则将需要重建的图像再经过生成网络G进行超分辨重建；若判别图像来自生成网络，则重建过程结束。本发明专利技术方法可以有效地提高识别成功率，可以更准确地掌握涉案人员的人脸特征。

A super-resolution method and system of single face image based on sngan network

【技术实现步骤摘要】
一种基于SNGAN网络的单幅人脸图像超分辨方法及系统
本专利技术涉及人脸图像超分辨
，特别涉及一种基于SNGAN网络的单幅人脸图像超分辨方法及系统。
技术介绍
图像超分辨率重建是计算机视觉领域的一个经典问题。它是一种图像提高成像分辨率的技术。它旨在将给定的低分辨率图像恢复为高分辨率图像。人脸超分辨率重建是其中的重要分支之一。人脸超分辨率重建在人脸识别、身份认证、智能监控等诸多领域有着重要的应用价值。然而，专利技术人发现，由于摄像头设备物理特性、光照条件和距离等问题的影响，监控视频中的人脸图像往往分辨率较低，人脸细节信息不够突出。目前，人脸识别系统已经广泛应用于国家安全、企业安全保护、个人隐私管理等方面，市面上已经有多款人脸识别系统投入使用。然而，专利技术人发现，目前流行的人脸识别算法仅仅对于高分辨率人脸图像(分辨率大于15x15)可以得到较高的识别率，其面临的主要问题是对低分辨率人脸图像的识别率较低。因为人脸在低分辨率条件下，各种特性都将会迅速退化，许多在高分辨率人脸图像中重要的识别特征将难以提取，最终导致识别率降低。
技术实现思路
为了解决上述问题，本专利技术提供了一种基于SNGAN网络的单幅人脸图像超分辨方法及系统，其将生成对抗网络应用在人脸超分辨算法上，由生成网络通过低分辨率人脸图像生成一个高分辨人脸重建图像，然后由判别网络判断其得到的图片是由生成网络生成的，还是数据库原图像。当生成网络生成的图像能够成功骗过判别网络的时候，最终完成人脸图像超分辨过程。为了实现上述目的，在一些实施方式中，本专利技术采用如下技术方案：一种基于SNGAN网络的单幅人脸图像超分辨方法，包括：收集高分辨率人脸图像，采用双三次插值的方法进行下采样，获得相应的低分辨率人脸图像，并随机将其分成训练集和测试集；将训练集中的低分辨率人脸图像输入到生成网络G中进行训练，输出重建的超分辨率图像；将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中；由判别网络判断图像是来自生成网络G还是原始高分辨率图像，若判别为原始高分辨率图像，则将需要重建的图像再经过生成网络G进行超分辨重建；若判别图像来自生成网络，则重建过程结束。进一步地，所述的下采样倍数分别为2倍、4倍和8倍。进一步地，将低分辨率人脸图像输入到生成网络G中进行训练，具体为：将输入的低分辨率人脸图像分为设定大小的图像块；将得到的图像块输入到生成网络G中进行训练，输出设定个数的特征图；将输出的特征图输入到密集连接块；所述密集连接块包括若干卷积层；密集连接块的输出经过卷积处理后得到输出结果。进一步地，将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中，具体为：S3.1,在判别网络中，用大小为1×1的卷积核对输入的生成的超分辨人脸图像和原始高分辨人脸图像对做卷积处理；S3.2,将上一步得到的特征图经过LeakyReLU激活函数，输出非线性特征图；S3.3,将得到的非线性特征图经过频谱归一化卷积层；S3.4,将S3.3得到的特征图经过批量归一化层和LeakyReLU激活函数；S3.5,将上述S3.2,S3.3,S3.4步骤重复设定次数，且卷积核都为3×3，卷积核的数量以2倍的速率由64增长到512；S3.6,构造一个全连接隐藏层，经过一个LeakyReLU激活函数，再经过一个denselayer全连接层；S3.7,将S3.6得到的结果经过sigmoid函数进行非线性激活；输出结果0或者1，用来判定输入的图像是来自生成网络还是训练图像。进一步地，由判别网络判断图像是来自生成网络G还是原始高分辨率图像，判别网络的损失函数为对抗损失函数，如下表示：其中，VD(G,D)代表对抗损失函数，D()代表判别映射函数，G()代表生成映射函数，E代表取期望，代表训练数据的分布，代表IHR服从P分布，代表经过生成器后的数据分布，代表ILR服从P分布。在另一些实施方式中，本专利技术采用如下技术方案：一种基于SNGAN网络的单幅人脸图像超分辨系统，包括：用于收集高分辨率人脸图像的装置；用于采用双三次插值的方法进行下采样，获得相应的低分辨率人脸图像，并随机将其分成训练集和测试集的装置；用于将训练集中的低分辨率人脸图像输入到生成网络G中进行训练，输出重建的超分辨率图像的装置；用于将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中的装置；用于由判别网络判断图像是来自生成网络G还是原始高分辨率图像装置；用于在判别为原始高分辨率图像时，将需要重建的图像再经过生成网络G进行超分辨重建的装置。在另一些实施方式中，本专利技术采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于SNGAN网络的单幅人脸图像超分辨方法。在另一些实施方式中，本专利技术采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行上述的基于SNGAN网络的单幅人脸图像超分辨方法。本专利技术有益效果：本专利技术利用生成对抗网络对低分辨率的人脸图像进行超分辨，得到一个高分辨率人脸图像，本专利技术提出的人脸超分辨算法可以作为人脸识别系统的前期处理，将低分辨率人脸图像经过人脸超分辨系统得到高分辨率人脸图像，再进行人脸识别，这样可以有效地提高识别成功率，并且，本专利技术提出的人脸超分辨算法能有效帮助公安机关更准确地掌握涉案人员的人脸特征，为办案人员尽快侦破案件提供有力支持。附图说明图1是本专利技术实施例中基于生成对抗网络的人脸图像超分辨方法流程图；图2是本专利技术实施例中生成网络模型示意图；图3是本专利技术实施例中判别网络模型示意图；图4是本专利技术实施例中提出的网络在celebA数据集上超分辨重建的结果图与原始图像对比。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步的说明。实施例一如图1所示，本实施例的一种基于生成对抗网络的人脸图像超分辨方法，包括：S1：预处理高分辨率人脸图像，对高分辨率人脸进行下采样，得到低分辨率人脸图像，进而形成训练集和测试集。具体的，在步骤S101中，收集高分辨率人脸图像，并将其分别进行下采样，获得相应的高低分辨率图像对，随机将其分成训练集和测试集。其中，低分辨率图像的下采样倍数分别为2倍，4倍，8倍。S2，利用SNGAN结构对图像ILR进行超分辨重建。S2.1，首先将输入ILR图像分为大小96×96的图像块S2.2,参照图2，将得到的图像输入到生成网络G中进行训练:输入的低分辨率人脸图像首先经过由两层卷积核为3×3，步长为1，输出为64个特征图的浅层特征提取网络。S2.3将本文档来自技高网...

【技术保护点】
1.一种基于SNGAN网络的单幅人脸图像超分辨方法，其特征在于，包括：/n收集高分辨率人脸图像，采用双三次插值的方法进行下采样，获得相应的低分辨率人脸图像，并随机将其分成训练集和测试集；/n将训练集中的低分辨率人脸图像输入到生成网络G中进行训练，输出重建的超分辨率图像；/n将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中；/n由判别网络判断图像是来自生成网络G还是原始高分辨率图像，若判别为原始高分辨率图像，则将需要重建的图像再经过生成网络G进行超分辨重建；若判别图像来自生成网络，则重建过程结束。/n

【技术特征摘要】
1.一种基于SNGAN网络的单幅人脸图像超分辨方法，其特征在于，包括：
收集高分辨率人脸图像，采用双三次插值的方法进行下采样，获得相应的低分辨率人脸图像，并随机将其分成训练集和测试集；
将训练集中的低分辨率人脸图像输入到生成网络G中进行训练，输出重建的超分辨率图像；
将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中；
由判别网络判断图像是来自生成网络G还是原始高分辨率图像，若判别为原始高分辨率图像，则将需要重建的图像再经过生成网络G进行超分辨重建；若判别图像来自生成网络，则重建过程结束。


2.如权利要求1所述的一种基于SNGAN网络的单幅人脸图像超分辨方法，其特征在于，所述的下采样倍数分别为2倍、4倍和8倍。


3.如权利要求1所述的一种基于SNGAN网络的单幅人脸图像超分辨方法，其特征在于，将低分辨率人脸图像输入到生成网络G中进行训练，具体为：
将输入的低分辨率人脸图像分为设定大小的图像块；
将得到的图像块输入到生成网络G中进行训练，输出设定个数的特征图；
将输出的特征图输入到密集连接块；所述密集连接块包括若干卷积层；
密集连接块的输出经过卷积处理后得到输出结果。


4.如权利要求1所述的一种基于SNGAN网络的单幅人脸图像超分辨方法，其特征在于，将生成网络G的输出结果和原始高分辨人脸图像一起输入到判别网络D中，具体为：
S3.1,在判别网络中，用大小为1×1的卷积核对输入的生成的超分辨人脸图像和原始高分辨人脸图像对做卷积处理；
S3.2,将上一步得到的特征图经过LeakyReLU激活函数，输出非线性特征图；
S3.3,将得到的非线性特征图经过频谱归一化卷积层；
S3.4,将S3.3得到的特征图经过批量归一化层和LeakyReLU激活函数；
S3.5,将上述S3.2,S3.3,S3.4步骤重复设定次数，且卷积核都为3×3，卷积核的数量以2倍的速...

【专利技术属性】
技术研发人员：陈振学，王梦雪，李现明，周新洁，董波，何为凯，牛停举，
申请(专利权)人：山东大学，山东大学深圳研究院，日照安泰科技发展有限公司，山东交通学院，山东欧龙电子科技有限公司，
类型：发明
国别省市：山东;37