一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法技术

本发明专利技术提出了一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法，其主要包括：提出一种轻量高效的人脸超分辨率网络，网络主要包含残差聚合模块和三个上采样模块；采用渐进训练的方式使模型在一次迭代训练中分三阶段开展，训练收敛的模型可以对低分辨率人脸图像进行二倍、四倍和八倍的超分辨率图像重建；使用人脸语义分割网络获取人脸先验信息，提出在模型训练中加入人脸分割损失，协助网络生成更加逼真的人脸结构。本发明专利技术基于RFDN网络进行改进，适用于超低分辨率的人脸图像输入，并可以输出三种不同放大倍数的高分辨率重建图像，解决了传统模型的一些缺陷。解决了传统模型的一些缺陷。解决了传统模型的一些缺陷。

【技术实现步骤摘要】
一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法


[0001]本专利技术涉及人脸图像重建
，尤其涉及到一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法。

技术介绍

[0002]图像超分辨率是指将低分辨率的图像或图像序列恢复成高分辨率图像。人脸图像超分辨率，又被称为人脸幻象重建，是属于图像超分研究领域的一个分支，其旨在通过将低分辨率人脸图像重建为高清人脸图像。当今，有如下几个工业应用需要用到大量高分辨率的人脸信息：第一，在人脸识别、人脸解析、人脸对齐等计算机视觉任务中常常需要从输入图像中获取丰富的语义信息。这些模型算法可以从高清的人脸中提取到更多的图像特征从而提高算法的精度；第二，在公安系统中，警察经常需要通过摄像头来获取犯罪嫌疑人的容貌信息，但是由于硬件设备以及拍摄环境等条件限制，从摄像头捕捉下来的图像常常是低分辨率的，从模糊图像中获取信息无疑是非常困难的，警方需要高清的人脸图像锁定嫌疑人身份。
[0003]图像插值法是一种简单而快速的人脸超分算法，该方法虽然已被广泛应用于生活中各个场景，但是其对极低分辨率(例如16
×
16像素)图像进行高倍数放大时的效果不佳。基于深度学习的人脸超分算法利用卷积神经网络的优质特性可以取得良好的超分效果。但是现有的基于深度学习的人脸超分算法存在以下几点问题：第一，许多模型为了提升算法性能会在网络结构中堆叠更多的卷积块或添加更多复杂的子结构，这样做势必会增加模型的计算复杂度。参数量庞大的模型会受限于计算资源而难以训练，同时也难以在一些轻量级的移动设备上部署应用；第二，一个人脸超分模型通常只能针对一个特定的倍数进行放大，面对多种放大倍数的需求时，只能耗费额外资源去训练新的模型；第三，当前许多人脸超分模型在训练时会使用到大量人工标注的人脸先验信息，标注数据给相关工作者带来了更多的工作量。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提出了一种轻量高效的人脸超分辨率重建方法，基于RFDN(Residual Feature Distillation Network)网络进行改进，引入人脸语义分割模型协助网络获取人脸先验信息，采用渐进训练的方式使模型在一次迭代训练中分三阶段开展，提出在模型训练中加入人脸分割损失以产生更加逼真的人脸。本专利技术涉及的人脸超分辨率重建方法适用于超低分辨率(例如16
×
16像素)的人脸图像输入，并可以输出三种不同放大倍数的高分辨率重建图像。
[0005]为了实现上述专利技术目的，本专利技术采用的技术方案是：一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法，包括以下步骤：
[0006]S1：准备训练数据，具体包括低分辨率人脸图像I
LR16
(16
×
16像素)，高分辨率人脸图像I
HR32
(32
×
32像素)、I
HR64
(64
×
64像素)、I
HR128
(128
×
128像素)。
[0007]S2：提出轻量级人脸超分辨率网络LFSRNet，LFSRNet网络由残差聚合模块RAB(Residual Aggregation Block)和三个上采样块组成：
[0008]1)残差聚合模块RAB用于获取低分辨率图像的图像特征，RAB模块是由4个残差特征蒸馏块RFDB(Residual Feature Distillation Block)通过残差聚合的形式构成，这样的结构可以大大提升网络提取特征的能力。
[0009]其中，残差聚合的形式为：前后相连的RFDB进行残差学习，将第一个RFDB输出的特征F1、第二个RFDB输出的特征F2、第三个RFDB输出的特征F3，第四个RFDB输出的特征F4进行堆叠，将堆叠后的特征经过一个卷积进行特征融合并输出。
[0010]2)三个上采样块主要由卷积和亚像素卷积构成，每个上采样块可以进行两倍的图像放大，并输出重建图像。
[0011]其中，第一个上采样块依次由卷积、LeakyReLU、PixShuffle(2倍放大)、卷积组成；第二个上采样块依次由卷积、卷积、LeakyReLU、PixShuffle(2倍放大)、卷积组成；第三个上采样块依次由卷积、卷积、LeakyReLU、PixShuffle(2倍放大)、卷积组成。
[0012]S3：将S1中的I
LR16
送入S2中的LFSRNet网络，分别经过RAB模块和第一个上采样块，前向推理得到两倍放大的超分辨率图像I
SR32
。
[0013]S4：根据以下损失函数，对网络进行反向传播，完成第一阶段网络参数的更新和优化。
[0014][0015]其中N表示模型训练中一个批次中的数据量。
[0016]S5：将S1中的I
LR16
送入S2中的LFSRNet网络，分别经过RAB模块、第一个上采样块以及第二个上采样块，前向推理得到四倍放大的超分辨率图像I
SR64
。
[0017]S6：根据以下损失函数，对网络进行反向传播，完成第二阶段网络参数的更新和优化。
[0018][0019]其中N表示模型训练中一个批次中的数据量。
[0020]S7：将S1中的I
LR16
送入S2中的LFSRNet网络，分别经过RAB模块、第一个上采样块、第二个上采样块以及第三个上采样块，前向推理得到八倍放大的超分辨率图像I
SR128
。
[0021]S8：将S1中的I
HR128
送入一个人脸语义分割网络中，得到高分辨率人脸语义分割预测图PSeg
HR128
，将PSeg
HR128
进行数据处理得到高分辨率人脸语义分割图Seg
HR128。
[0022]其中，该人脸语义分割网络是经过预训练的，并可以对人脸图像中的左眼、右眼、鼻子、嘴唇等多个部位进行人脸语义分割。
[0023]其中，人脸语义分割预测图PSeg
HR128
的形状大小为(128
×
128
×
C)，C代表人脸语义分割网络可以分割的种类数，PSeg
HR128
中每个像素值代表该位置上每个种类的预测置信度。
[0024]进一步地，将PSeg
HR128
中每个像素里置信度最高的类作为最终分割结果，生成高分辨率人脸语义分割图Seg
HR128
，Seg
HR128
是像素大小为(128
×
128)的灰度图像。
[0025]S9：将S7中的I
SR128
送入S8中的人脸语义分割网络中，得到超分辨率人脸语义分割
预测图PSeg
SR128
。
[0026]其中PSeg
SR128
的形状大小为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法，其特征在于，包括以下步骤：S1：准备训练数据，包括低分辨率人脸图像16
×
16像素I
LR16
，高分辨率人脸图像32
×
32像素I
HR32
、64
×
64像素I
HR64
、128
×
128像素I
HR128
；S2：提出轻量级人脸超分辨率网络LFSRNet，LFSRNet网络由残差聚合模块RAB和三个上采样块组成，其中，三个上采样块主要由卷积和亚像素卷积构成，每个上采样块可以进行两倍的图像放大，并输出重建图像；S3：将S1中的I
LR16
送入S2中的LFSRNet网络，分别经过RAB模块和第一个上采样块，前向推理得到两倍放大的超分辨率图像I
SR32
；S4：根据以下损失函数，对网络进行反向传播，完成第一阶段网络参数的更新和优化；其中N表示模型训练中一个批次中的数据量；S5：将S1中的I
LR16
送入S2中的LFSRNet网络，分别经过RAB模块、第一个上采样块以及第二个上采样块，前向推理得到四倍放大的超分辨率图像I
SR64
；S6：根据以下损失函数，对网络进行反向传播，完成第二阶段网络参数的更新和优化；S7：将S1中的I
LR16
送入S2中的LFSRNet网络，分别经过RAB模块、第一个上采样块、第二个上采样块以及第三个上采样块，前向推理得到八倍放大的超分辨率图像I
SR128
；S8：将S1中的I
HR128
送入一个人脸语义分割网络中，得到高分辨率人脸语义分割预测图PSeg
HR128
，将PSeg
HR128
进行数据处理得到高分辨率人脸语义分割图Seg
HR128
；S9：将S7中的I
SR128
送入S8中的人脸语义分割网络中，得到超分辨率人脸语义分割预测图PSeg
SR128
；S10：根据以下损失函数，对网络进行反向传播，完成第三阶段...

【专利技术属性】
技术研发人员：廖频，陈子扬，臧露奇，韩翔宇，张震，刘广传，
申请(专利权)人：南昌大学，
类型：发明
国别省市：