一种基于区域深度卷积神经网络的人脸超分辨率算法制造技术

本发明专利技术公开了一种基于区域深度卷积神经网络的人脸超分辨率算法，包括以下步骤：训练阶段：S1、对输入的低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；S2、对局部区域提取得到局部特征；S3、对局部特征进行非线性变化得到非线性特征；S4、对非线性特征进行处理，得到重建后的高分辨率图像块；S5、对高分辨率图像块进行拼接，并调整多层卷积层和修正线性单元层的参数；测试阶段：S6、输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。本发明专利技术提出的区域卷积神经网络提高了重建高分辨率图像的主客观重建质量。

A face super-resolution algorithm based on region depth convolution neural network

The invention discloses a super resolution algorithm of face region depth based on convolutional neural network, which comprises the following steps: training phase: S1, the low resolution face image to the input image in the pixel domain partition block overlap, get a number of local area and local area; S2 extracted local features, S3; get the nonlinear variation of the nonlinear characteristics of local features; S4, nonlinear characteristics of the process, to obtain a high resolution image block reconstruction; S5, mosaic of the high resolution image blocks, and adjust the multi layer and parameter correction of linear convolution unit layer; testing phase: S6, input the test face image of low resolution, get high resolution face image super-resolution processing through network. The region convolution neural network proposed in this paper improves the subjective and objective reconstruction quality of the reconstructed high resolution image.

【技术实现步骤摘要】

本专利技术涉及图像超分辨率领域，尤其涉及一种基于区域深度卷积神经网络的人脸超分辨率算法。
技术介绍
Simon和Kanade等人专门针对人脸图像提出了一种人脸幻构(facehallucination)方法，人脸幻构就是一种由输入低分辨率人脸图像产生高分辨率人脸图像的图像超分辨率重建方法。传统基于重建的超分辨率算法适用于放大倍数较小的情况，当放大倍数增大，重建方法不能获得更多的先验知识，限制了其重建质量。基于学习的人脸超分辨率算法可以分为单层方法和多层方法，单层方法利用人脸图像的局部块来共享最大的相似性，获得最优权重向量，方法是利用深度网络从低分辨率图像提取人脸特征来描述重建高分辨率图像。单层方法描述特征的能力不足，多层方法没有利用区域更为精确的先验知识，因此重建效果并不理想。近年来，学者们提出了大量的基于学习的人脸超分辨率方法。例如，2010年Yang等人提出一种基于稀疏编码的自适应选择相邻最相关(sparserepresentation)人脸超分辨率方法。Chang等人提出的局部线性嵌入(Locallylinearembedding)，LLE是一种非线性降维方法,它能够使降维后的特征信息不丢失，从而实现特征空间维数的压缩。Ma等人提出了基于最小二乘法表征(leastsquaresrepresentation)方法,LSR通过图像块的输出权重对低分辨率图像进行超分辨率重建。Jiang等人提出了局部约束表达(LocalityconstrainedRepresentation)，LCR同时保留了稀疏性和局部性。然后，单层表达能力不足，不能充分利用人脸图像上的结构化知识。为了解决单层表达框架精度不足的问题，Dong等人提出了基于深度学习的卷积神经网络超分辨率(DeepConvolutionalNetworkforImageSuper-Resolution)算法，SRCNN具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。然而，SRCNN方法随机从样本图像中取得训练图像块，无法充分利用人脸图像中区域块的结构化先验，降低了深度学习网络获得更为准确的重建先验的效率。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中单层学习结构的表达能力不足，不能充分利用人脸图像上的结构化知识的缺陷，提供一种基于区域深度卷积神经网络的人脸超分辨率算法。本专利技术解决其技术问题所采用的技术方案是：本专利技术提供一种基于区域深度卷积神经网络的人脸超分辨率算法，包括以下步骤：训练阶段：S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；S5、根据高分辨率图像块的重叠部分，对高分辨率图像块进行拼接，输出完整的高分辨率人脸图像，将输出的高分辨率人脸图像与训练的高分辨率人脸图像进行比较，根据比较结果的相似程度，调整多层卷积层和修正线性单元层的参数；测试阶段：S6、根据训练阶段得到的多层卷积层和修正线性单元层组成超分辨率网络，输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。进一步地，本专利技术的步骤S1中处理得到低分辨率人脸图像的方法为：获取的高分辨率人脸图像为{Ym|1≤m≤M本文档来自技高网...

【技术保护点】
一种基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，包括以下步骤：训练阶段：S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；S5、根据高分辨率图像块的重叠部分，对高分辨率图像块进行拼接，输出完整的高分辨率人脸图像，将输出的高分辨率人脸图像与训练的高分辨率人脸图像进行比较，根据比较结果的相似程度，调整多层卷积层和修正线性单元层的参数；测试阶段：S6、根据训练阶段得到的多层卷积层和修正线性单元层组成超分辨率网络，输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。

【技术特征摘要】
1.一种基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，包括以下步骤：训练阶段：S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；S5、...

【专利技术属性】
技术研发人员：卢涛，汪浩，潘兰兰，管英杰，曾康利，汪家明，陈希彤，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北;42