一种基于新型端到端人脸超分辨率网络的图像对齐方法技术

本发明专利技术提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，其主要内容包括：人脸超分辨率网络、人脸超分辨率生成对抗网络，其过程为，构造一个粗粒度超分辨率(SR)网络来恢复粗粒度的高分辨率(HR)图像，将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计关键点热点图，在解码器中使用图像特征和先验信息恢复HR图像，为了进一步产生逼真的面孔，提出了人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。本发明专利技术利用由人脸超分辨率网络和人脸超分辨率生成对抗网络组成的网络进行图像对齐，可以有效提高成像质量，简化了图像对齐方法。

Image alignment method based on new end-to-end face super resolution network

An image alignment method based on a new end to end face super-resolution network is proposed. Its main contents include: face super-resolution network and face super-resolution generation antagonism network. The process is to construct a coarse grained super-resolution (SR) network to restore coarse grained high resolution (HR) images and make coarse granularity. The HR images are sent to the fine-grained SR encoder and the prior information estimation network. The fine-grained SR encoder is used to extract the image features. The priori information estimation network is used to estimate the key point hot spots. The image features and the prior information are used to restore the HR image in the decoder. Super resolution generates network against confrontation and integrates confrontation loss into face super-resolution network. The invention makes use of a network composed of face super-resolution network and face super-resolution generating network for image alignment, which can effectively improve the image quality and simplify the image alignment method.

【技术实现步骤摘要】
一种基于新型端到端人脸超分辨率网络的图像对齐方法
本专利技术涉及图像处理领域，尤其是涉及了一种基于新型端到端人脸超分辨率网络的图像对齐方法。
技术介绍
图像对齐是图像处理中的一个基本问题，广泛应用于公安、军事侦查、医学图像处理等众多领域。具体地，在公安领域，可在案件侦查中处理采集到的监控图像，提取两幅监控图像各自的特征点，对两幅图像的特征点集进行对齐，从而实现图像拼接以及目标识别，有效识别监控中的可疑人员，进一步增强安防能力。在军事侦察领域，面对复杂的军事环境，如野外环境作战、空中无人机侦查等，利用图像对齐，可以提高侦查系统中敌人的识别率以及跟踪的精度和可靠性。而在医学图像处理领域，为肿瘤检测、病变定位、血细胞显微图像分类等医学图像分析提供了便利。虽然对人脸超分辨率的研究颇多，但是由于人脸的复杂性，现存的方法大部分采用多阶段而不是端到端的训练，使得方法过于繁琐和复杂，因此要在保证超分辨率图像质量的前提下，进一步简化研究方法，尚且存在一定的挑战。本专利技术提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，首先构造一个粗粒度超分辨率(SR)网络来恢复粗粒度高分辨率(HR)图像，然后将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计和解析关键点热点图，在细粒度SR解码器中使用图像特征和先验信息恢复HR图像。为了进一步产生逼真的面孔，提出人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。本专利技术提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，利用由人脸超分辨率网络和人脸超分辨率生成对抗网络组成的网络进行图像对齐，可以有效提高成像质量，简化了图像对齐方法。
技术实现思路
针对图像对齐，本专利技术提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，构造一个粗粒度超分辨率(SR)网络来恢复粗粒度的高分辨率(HR)图像，将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计关键点热点图，在解码器中使用图像特征和先验信息恢复HR图像，为了进一步产生逼真的面孔，提出了人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。为解决上述问题，提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，其主要内容包括：(一)人脸超分辨率网络；(二)人脸超分辨率生成对抗网络。其中，所述的人脸超分辨率网络，人脸超分辨率网络(FSRNet)由粗粒度超分辨率网络和细粒度超分辨率网络组成，其包括细粒度SR编码器、先验估计网络以及细粒度SR解码器，用x表示低分辨率输入图像，用y表示通过FSRNet恢复的高分辨率(HR)图像，p表示通过FSRNet估计的先验信息，由于在先验估计中输入的低分辨率图像清晰度较低，故构造一个粗粒度SR网络来恢复粗粒度SR图像，通过以下等式给定：其中，x是低分辨率(LR)图像，yc是粗粒度SR图像，是粗粒度超分辨率网络从图像x到图像yc的映射，yc分别被发送到先验估计网络和细粒度SR编码器上，得到以下等式：其中，f是由编码器提取的特征，编码完成之后，利用SR的解码器连接图像特征f和先验信息p来恢复SR图像，由以下等式表示：给定一个训练集其中N是所训练图像的数量，x(i)是位于标定超分辨率图像中的低分辨率图像，是标定的先验信息，FSRNet的损失函数由下式给定：其中，Θ表示参数集，λ是先验损失的权重，y(i)和p(i)是恢复的HR图像，p(i)是在第i个图像估计的先验信息。进一步地，所述的粗粒度超分辨率网络，使用粗粒度SR网络大概恢复粗粒度HR图像，以此减轻估计先验信息的困难，粗粒度SR网络体系结构由3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。进一步地，所述的细粒度超分辨率网络，在细粒度SR网络中，粗粒度HR图像被发送到先验估计网络和细粒度编码器网络中，分别用来进行面部先验信息估计和特征提取，然后解码器使用这两个结果来恢复细粒度HR图像。进一步地，所述的先验估计网络，采用沙漏结构在先验估计网络中估计面部标记点的关键图和解析图，由于这两个先验信息表示二维的人脸形状，故在先验估计网络中，除最后一层外，共享这两个任务之间的全部特征，为了有效地跨尺度合并特征并保存不同尺度的空间信息，沙漏模块在对称层之间使用跳跃连接机制，随后用一个1×1卷积层处理所获得的特征，被共享的特征连接两个单独的1×1卷积层，生成关键点热点图和解析图。进一步地，所述的细粒度编码器，对于细粒度SR编码器，利用残差模块进行特征提取，先验特征的尺寸被下采样为64×64，为了保持特征尺寸的一致性，细粒度SR编码器从步长为2的3×3卷积层开始，令特征图下采样到64×64，然后利用残差结构提取图像特征。进一步地，所述的解码器，细粒度SR解码器同时使用特征和先验信息来恢复最终的细粒度HR图像，首先，先验特征p和图像特征f被连接起来作为解码器的输入，然后3×3卷积层将特征映射的数量减少到64个，利用一个4×4的解卷积层将特征映射的大小上采样到128×128，然后使用3个残差模块对特征进行解码，最后使用3×3卷积层来恢复细粒度HR图像。其中，所述的人脸超分辨率生成对抗网络，为了生成逼真的高分辨率人脸，在现有模型中使用一个生成对抗网络(GAN)，得到人脸超分辨率生成对抗网络(FSRGAN)，对抗网络C的目标函数表示为：其中，C输出的概率属性为真，是概率分布的期望值，除了对抗性损失之外，使用网络预先训练的高级特征图引入一个感知损失，用来评估感知的相关性，通过以下等式给定：其中，φ表示在固定点预训练的网络模型，并将图像y或映射到特征空间，FSRGAN的最终目标函数为：其中，γC是生成对抗网络的权重，γP是生成对抗网络的感知损失。进一步地，所述的训练，采用一个图像数量为2300的数据集进行测试，数据集中最后50张图片用于测试，其他图片用于训练，在训练图像上执行数据增强，将原始图像分别旋转90°、180°、270°并进行水平翻转，令每个原始图像附加上7个增强图像，数据集中的每幅图像都标定194个关键点和11个解析图。进一步地，所述的训练图像，对训练图像执行粗略的剪裁，在没有任何预对准操作的情况下，根据图像的脸部区域，把图像大小调整为128×128，采用人脸检测器裁剪的图像作为测试输入，输入的低分辨率图像通过双三次的插值放大，使图像尺寸与输出的高分辨率图像相同，使用一个梯度下降优化算法对模型进行训练，初始学习率为2.5×10-4，最小批量为14，在两个数据集中设定λ＝1,γC＝10-3,γP＝10-1。附图说明图1是本专利技术一种基于新型端到端人脸超分辨率网络的图像对齐方法的系统框架图。图2是本专利技术一种基于新型端到端人脸超分辨率网络的图像对齐方法的网络结构图。图3是本专利技术一种基于新型端到端人脸超分辨率网络的图像对齐方法的数据集解析图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于新型端到端人脸超分辨率网络的图像对齐方法的系统框架图。主要包括人脸超分辨率网络、人脸超分辨本文档来自技高网...

【技术保护点】
一种基于新型端到端人脸超分辨率网络的图像对齐方法，其特征在于，主要包括人脸超分辨率网络(一)；人脸超分辨率生成对抗网络(二)。

【技术特征摘要】
1.一种基于新型端到端人脸超分辨率网络的图像对齐方法，其特征在于，主要包括人脸超分辨率网络(一)；人脸超分辨率生成对抗网络(二)。2.基于权利要求1所述的人脸超分辨率网络(一)，其特征在于，人脸超分辨率网络(FSRNet)由粗粒度超分辨率网络和细粒度超分辨率网络组成，其包括细粒度SR编码器、先验估计网络以及细粒度SR解码器，用x表示低分辨率输入图像，用y表示通过FSRNet恢复的高分辨率(HR)图像，p表示通过FSRNet估计的先验信息，由于在先验估计中输入的低分辨率图像清晰度较低，故构造一个粗粒度SR网络来恢复粗粒度SR图像，通过以下等式给定：其中，x是低分辨率(LR)图像，yc是粗粒度SR图像，是粗粒度超分辨率网络从图像x到图像yc的映射，yc分别被发送到先验估计网络和细粒度SR编码器上，得到以下等式：其中，f是由编码器提取的特征，编码完成之后，利用SR的解码器连接图像特征f和先验信息p来恢复SR图像，由以下等式表示：给定一个训练集其中N是所训练图像的数量，x(i)是位于标定超分辨率图像中的低分辨率图像，是标定的先验信息，FSRNet的损失函数由下式给定：其中，Θ表示参数集，λ是先验损失的权重，y(i)和p(i)是恢复的HR图像，p(i)是在第i个图像估计的先验信息。3.基于权利要求2所述的粗粒度超分辨率网络，其特征在于，使用粗粒度SR网络大概恢复粗粒度HR图像，以此减轻估计先验信息的困难，粗粒度SR网络体系结构由3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。4.基于权利要求2所述的细粒度超分辨率网络，其特征在于，在细粒度SR网络中，粗粒度HR图像被发送到先验估计网络和细粒度编码器网络中，分别用来进行面部先验信息估计和特征提取，然后解码器使用这两个结果来恢复细粒度HR图像。5.基于权利要求4所述的先验估计网络，其特征在于，采用沙漏结构在先验估计网络中估计面部标记点的关键图和解析图，由于这两个先验信息表示二维的人脸形状，故在先验估计网络中，除最后一层外，共享这两个任务之间的全部特征，为了有效地跨尺度合并特征并保存不同尺度的空间信息，沙漏模块在对称层之间使用跳跃连接机制，随后用一个1×1卷积层处理所获得的特征，被共享的特征连接两个单独...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44