一种基于循环神经网络的人脸图像恢复方法及装置制造方法及图纸

本发明专利技术公开了一种基于循环神经网络的人脸图像恢复方法及装置，所述方法包括：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。本发明专利技术通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。

【技术实现步骤摘要】
一种基于循环神经网络的人脸图像恢复方法及装置
本专利技术涉及人脸识别
，尤其涉及一种基于循环神经网络的人脸图像恢复方法及装置。
技术介绍
目前主流的人脸图像恢复的方法有很多种，按获取目标图像的方式不同又可以分为三大类：1、基于插值的传统算法，其原理主要是通过对同一场景下的多幅图像进行对比，并且从这些图像中获得对应的亚像素信息，再通过对这些亚像素的计算获得采样点的样素信息；2、基于重建的算法：通过研究图像的高分辨率细节在低分辨率下的表现形式，建立两者之间的对应关系，并利用某种模型来刻画这种映射关系；3、基于传统机器学习方法：使用支持向量机预分类筛选出与重建人脸特征相似的样本子库，再在样本子库中精确匹配与低分辨率人脸之间相关性最高的样本子块，并利用样本子块辅助重建高分辨率人脸，这三类较为传统的恢复方法可以将人脸图像恢复到原有分辨率的2-4倍。现有的上述三种人脸图像恢复方法都存在着一些缺陷和不足：基于插值的方法恢复的图像，没有增加图片信息，恢复倍率低；使用基于重建的算法，随着恢复倍数的增加，需要提供的输入图像样本数量急剧增加，直到达到一定的上限后，无论增加多少输入图像样本，都无法再改善重建效果；基于传统机器学习方法恢复出的人脸不够清晰，只有大概的人脸轮廓，没有清晰的五官特征。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种基于循环神经网络的人脸图像恢复方法及装置，通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。为了解决上述技术问题，本专利技术实施例提供了一种基于循环神经网络的人脸图像恢复方法，包括如下步骤：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。进一步地，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。进一步地，所述神经网络模型的构建步骤为：在搭建的循环神经网络中引入生成对抗网络；输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；输出恢复性能最优化的神经网络模型。进一步地，所述两个卷积神经网络分别为生成网络和判别网络；所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。进一步地，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；将所述人脸图像训练样本中的人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。进一步地，所述获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像，具体为：获取低分辨率图像；采用模板匹配算法计算所述低分辨率图像区域的均值，以及方差；当利用预先构建的人脸模板匹配到所述低分辨率图像区域时，计算所述人脸模板和所述低分辨率图像区域的相关系数；将所述相关系数与预设阈值进行比较，以确定人脸区域，并筛选出至少包含一张人脸的待恢复人脸图像。本专利技术实施例还提供了一种基于循环神经网络的人脸图像恢复装置，包括：待恢复人脸图像获取单元，用于获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；特征图提取单元，用于将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；非线性映射单元，用于将提取到的特征图进行非线性映射，得到优化的特征图；高维重构单元，用于根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。进一步地，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。进一步地，所述神经网络模型的构建步骤为：在搭建的循环神经网络中引入生成对抗网络；输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；输出恢复性能最优化的神经网络模型；其中，所述两个卷积神经网络分别为生成网络和判别网络；所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。进一步地，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；将所述人脸图像训练样本中人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。实施本专利技术实施例，具有如下有益效果：本专利技术实施例提供的一种基于循环神经网络的人脸图像恢复方法及装置，所述方法包括：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。本专利技术通过将双向循环神经网络技术和生成对抗网络技术进行结合，构建并训练恢复性能最优化的神经网络模型，从而能够有效地将低分辨率的人脸图像恢复出高分辨率的人脸图像。附图说明图1是本专利技术第一实施例提供的一种基于循环神经网络的人脸图像恢复方法的流程示意图；图2是本专利技术第一实施例中按照预设像素大小对待恢复人脸图像进行特征图的提取的示意图；图3是本专利技术第一实施例中神经网络模型的构建方法的流程示意图；图4是本专利技术第一实施例中神经网络模型的构建方法的另一流程示意图；图5是本专利技术第二实施例提供的一种基于循环神经网络的人脸图像恢复装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术第一实施例：请参阅图1，图1是本专利技术第一实施例提供的一种基于循环神经网络的人脸图像恢复方法的流程示意图。所述基于循环神经网络的人脸图像恢复方法，包括如下步骤：S101、获取低分辨率图像，并对所述本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络的人脸图像恢复方法，其特征在于，包括如下步骤：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。

【技术特征摘要】
1.一种基于循环神经网络的人脸图像恢复方法，其特征在于，包括如下步骤：获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像；将所述待恢复人脸图像输入预先构建并训练好的神经网络模型，按照预设像素大小对所述待恢复人脸图像进行特征图的提取；将提取到的特征图进行非线性映射，得到优化的特征图；根据优化后的特征图，对所述待恢复人脸图像进行高维重构，输出相应的高分辨率人脸图像。2.根据权利要求1所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述按照预设像素大小对所述待恢复人脸图像进行特征图的提取，具体为：对所述待恢复人脸图像进行若干次卷积运算，得到预设像素大小的特征图；其中，所述预设像素大小为1×1；将该特征图作为循环神经网络的输入，进行相应的特征图的迭代提取。3.根据权利要求1所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述神经网络模型的构建步骤为：在搭建的循环神经网络中引入生成对抗网络；输入预先获取的人脸图像训练样本，并通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练；输出恢复性能最优化的神经网络模型。4.根据权利要求3所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述两个卷积神经网络分别为生成网络和判别网络；所述人脸图像训练样本包括人脸模糊图像和人脸清晰图像，所述人脸模糊图像和所述人脸清晰图像一一对应。5.根据权利要求3所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述通过所述人脸图像训练样本对两个卷积神经网络进行生成对抗网络的训练，具体为：将所述人脸图像训练样本中的人脸模糊图像输入生成网络，得到人脸恢复图像；将所述人脸图像训练样本中的人脸清晰图像和所述人脸恢复图像输入判别网络进行清晰度判断，并根据判断结果捕捉人脸恢复图像和人脸清晰图像的数据分布；根据所述数据分布和预设的恢复性能最优化目标函数计算最优参数，并根据所述最优参数生成神经网络模型。6.根据权利要求1所述的基于循环神经网络的人脸图像恢复方法，其特征在于，所述获取低分辨率图像，并对所述低分辨率图像进行人脸检测，得到待恢复人脸图像，具体为：获取低分辨率图像；采用模板匹配算法计算所述低分辨率图像区域的均值...

【专利技术属性】
技术研发人员：钱广遴，武筱林，陈祥，
申请(专利权)人：广州洪森科技有限公司，
类型：发明
国别省市：广东,44