人脸图像的超分辨率重建模型的训练及重建方法技术

本发明专利技术涉及图像处理技术领域，具体涉及人脸图像的超分辨率重建模型的训练及重建方法，所述训练方法包括获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。

【技术实现步骤摘要】
人脸图像的超分辨率重建模型的训练及重建方法
本专利技术涉及图像处理
，具体涉及人脸图像的超分辨率重建模型的训练及重建方法。
技术介绍
在一些人员复杂的场所中，比如游乐场、大型商场等，容易发生违法事件，因此经常需要从监控图像中查找一些可能具有特殊身份的人。但由于环境光照不稳定、行人姿态表情多样、与摄像头之间的距离比较远、摄像头成像分辨率的局限性等客观原因，会导致图像中的行人无法被准确识别。人脸作为人身份特征的最敏感区域，成为对特定身份识别的最关键部位，因此，如何将低分辨率、低清晰度、带有噪声和光污染后的人脸重建出高分辨率、高清晰度的图像，以辅助进一步的人脸识别和分析任务，成为监控领域中人脸图像的超分辨率(FaceSuper-resolution，简称为FaceSR)重建的目标。现有图像的超分辨率重建方法一般是使用插值算法对原始图像进行上采样，从而获得分辨率放大后的图像。这样操作之后得到的图像的分辨率虽然被放大了，但是原始图像上存在的噪声也被放大了，反而不利于后续的任务。另外，目前部分方案可以做到既能提升图像的分辨率，也能去除原始图像中的噪声，但是大部分是针对通用场景的图像，比如自然风景图像。然而由于人脸区域带有很明显的类别特征，若将用于通用场景图像的超分辨率重建方法直接应用到人脸图像中其重建效果甚微。
技术实现思路
有鉴于此，本专利技术实施例提供了一种人脸图像的超分辨率重建模型的训练及重建方法，以解决将通用场景下的超分辨率重建方法直接应用到人脸图像中重建效率甚微的问题。根据第一方面，本专利技术实施例提供了一种人脸图像的超分辨率重建模型的训练方法，包括：获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。本专利技术实施例提供的人脸图像的超分辨率重建模型的训练方法，在对超分辨率重建模型的训练过程中，结合图像的先验信息对模型进行训练，可以得到更加真实的人脸，五官轮廓更加清晰，表情也很自然，有效提升了人脸超分的效果。结合第一方面，在第一方面第一实施方式中，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，包括：获取所述第二样本图像的亮度重建数据，所述亮度重建数据为所述超分辨重建模型对所述第二样本图像的亮度数据进行重建得到的；基于所述第二样本图像的亮度重建数据以及所述第一样本图像的亮度数据，确定像素损失；利用所述像素损失以及所述人脸先验信息损失，确定联合损失；基于所述联合损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。本专利技术实施例提供的人脸图像的超分辨率重建模型的训练方法，将人脸先验信息损失与像素损失结合得到联合损失，并用联合损失对模型进行训练，保证了训练得到的重建模型对人脸重建的效果。结合第一方面第一实施方式，在第一方面第二实施方式中，所述联合损失采用如下公式计算得到：lsr＝β1l1+β2l2，其中，l1为所述像素损失，l2为所述人脸先验信息损失，β1、β2为对应的权重，W′、H′分别为所述第一样本图像的宽度以及高度，Ihr为第一样本图像，为所述第一样本图像的亮度数据，Ilr为所述第二样本图像，为所述第二样本图像的亮度重建数据，Isr为所述第一重建图像，为所述第一样本图像的人脸先验信息，为所述第一重建图像的人脸先验信息。结合第一方面，在第一方面第三实施方式中，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，还包括：基于所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标教师超分辨率重建模型；对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型；对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型。本专利技术实施例提供的人脸图像的超分辨率重建模型的训练方法，通过使用目标教师超分辨率重建模型训练目标学生超分辨率重建模型，既能够仅可能保持接近目标教师超分辨率重建模型的超分效果，由于目标学生超分辨率重建模型的网络参数量小于目标教师超分辨率重建模型的网络参数量，从而又提升了落地应用的可能性。结合第一方面第三实施方式，在第一方面第四实施方式中，所述对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型，包括：利用所述目标教师超分辨率重建模型，确定所述初始学生超声分辨率重建模型的网络结构；确定所述初始学生超分辨率重建模型中各个卷积层的卷积核通道数；基于确定出的卷积核通道数，从所述目标教师超分辨率重建模型对应卷积层中提取相应卷积核通道数的参数，以对所述确定出的卷积核通道数的参数进行初始化；初始化所述初始学生超分辨率重建模型中其他层的参数，以确定所述初始学生超分辨率重建模型。本专利技术实施例提供的人脸图像的超分辨率重建模型的训练方法，由于影响模型推断速度的各个因素中卷积核通道数的影响较大，因此，通过对卷积核通道数的参数量进行压缩，既能够减少学生超分辨率重建模型的网络参数量，又可以提升训练得到的目标学生超分辨率重建模型的超分处理效率。结合第一方面第四实施方式，在第一方面第五实施方式中，所述对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型，包括：获取第三样本图像以及所述第三样本图像对应的第四样本图像，所述第三样本图像的分辨率高于所述第四样本图像的分辨率；将所述第四样本图像分别输入所述目标教师超分辨率重建模型以及所述初始学生超分辨率重建模型中，分别进行特征提取，以得到第一特征以及第二特征；利用所述第一特征以及所述第二特征，确定特征损失；利用所述第三样本图像以及所述初始学生超分辨率重建模型输出的第二重建图像，确定重建损失；基于所述特征损失以及所述重建损失，对所述初始学生超分辨率重建模型的参数进行调整，以确定目标学生超分辨率重建模型。本专利技术实施例提供的人脸图像的超分辨率重建模型的训练方法，将特征损失与重建损失结合对初始学生超分辨率重建模型进行训练，可以保证目标学生超分辨率重建模型的超分重建效果。结合第一方面，或第一方面第一实施方式至第五实施方式中任一项，在第一方面第六实施方式中，所述将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像，包括：提取所述第二样本图像的亮度数据、色彩数据以及饱和度数据；对将所述第二样本图像的亮度数据输入所述超分辨率重建模型进行处理，得到所述第二样本图像的本文档来自技高网...

【技术保护点】
1.一种人脸图像的超分辨率重建模型的训练方法，其特征在于，包括：/n获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；/n将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；/n计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；/n根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。/n

【技术特征摘要】
1.一种人脸图像的超分辨率重建模型的训练方法，其特征在于，包括：
获取第一样本图像以及所述第一样本图像对应的第二样本图像，所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
将所述第二样本图像输入超分辨率重建模型中，得到第一重建图像；
计算所述第一重建图像以及所述第一样本图像的先验信息，并确定人脸先验信息损失；
根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。


2.根据权利要求1所述的训练方法，其特征在于，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，包括：
获取所述第二样本图像的亮度重建数据，所述亮度重建数据为所述超分辨重建模型对所述第二样本图像的亮度数据进行重建得到的；
基于所述第二样本图像的亮度重建数据以及所述第一样本图像的亮度数据，确定像素损失；
利用所述像素损失以及所述人脸先验信息损失，确定联合损失；
基于所述联合损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型。


3.根据权利要求2所述的训练方法，其特征在于，所述联合损失采用如下公式计算得到：
lsr＝β1l1+β2l2，






其中，l1为所述像素损失，l2为所述人脸先验信息损失，β1、β2为对应的权重，W′、H′分别为所述第一样本图像的宽度以及高度，Ihr为第一样本图像，为所述第一样本图像的亮度数据，Ilr为所述第二样本图像，为所述第二样本图像的亮度重建数据，Isr为所述第一重建图像，为所述第一样本图像的人脸先验信息，为所述第一重建图像的人脸先验信息。


4.根据权利要求1所述的训练方法，其特征在于，所述根据所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标超分辨率重建模型，还包括：
基于所述人脸先验信息损失，对所述超分辨率重建模型的参数进行更新，以确定目标教师超分辨率重建模型；
对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型；
对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重建模型的参数，确定目标学生超分辨率重建模型。


5.根据权利要求4所述的训练方法，其特征在于，所述对所述目标教师超分辨率重建模型的网络参数进行压缩，确定初始学生超分辨率重建模型，包括：
利用所述目标教师超分辨率重建模型，确定所述初始学生超声分辨率重建模型的网络结构；
确定所述初始学生超分辨率重建模型中各个卷积层的卷积核通道数；
基于确定出的卷积核通道数，从所述目标教师超分辨率重建模型对应卷积层中提取相应卷积核通道数的参数，以对所述确定出的卷积核通道数的参数进行初始化；
初始化所述初始学生超分辨率重建模型中其他层的参数，以确定所述初始学生超分辨率重建模型。


6.根据权利要求5所述的训练方法，其特征在于，所述对所述初始学生超分辨率重建模型进行训练，以调整所述初始学生超分辨率重...

【专利技术属性】
技术研发人员：姚佳丽，胡旭阳，李瑮，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32