网络模型的训练方法、人脸图像超分辨率重建方法及设备技术

本申请提供了一种网络模型的训练方法、人脸图像超分辨率重建方法及设备。该网络模型训练方法包括：获取低分辨率训练图像以及与低分辨率训练图像对应的高分辨率训练图像，其中，低分辨率训练图像和高分辨率训练图像均是基于对同一目标对象拍摄获得；将低分辨率训练图像输入生成网络，得到超分辨率训练图像，计算超分辨率训练图像和高分辨率训练图像的误差损失；将高分辨率训练图像和超分辨率训练图像输入判别网络，得到高分辨率训练图像和超分辨率训练图像的对抗损失；基于误差损失和对抗损失，对网络模型进行训练，直至训练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。上述方案，提高了网络模型生成图像的清晰度。

【技术实现步骤摘要】
网络模型的训练方法、人脸图像超分辨率重建方法及设备
本申请涉及图像处理
，特别是涉及一种网络模型的训练方法、人脸图像超分辨率重建方法及设备。
技术介绍
图像超分辨率作为图像处理及计算机领域的一项重要技术，旨在将低分辨率的图像生成为高分辨率的图像。目前，越来越多的专家学者将深度学习引入到图像超分辨率领域，利用SRCNN(Super-ResolutionConvolutionalNeuralNetwork)结合传统差值方法及卷积神经网络，对低分辨率图像进行超分辨率处理，以得到超分辨率图像。上述方法通常在PSNR(PeakSignal-to-NoiseRatio)(峰值信噪比)等指标上表现良好，但实际生成图像在视觉感知上效果较差。
技术实现思路
本申请提供了一种网络模型的训练方法、人脸图像超分辨率重建方法及设备，主要解决的技术问题是如何提高网络模型生成图像的清晰度。为解决上述技术问题，本申请提供了一种网络模型的训练方法，所述网络模型包括呈对抗关系的生成网络和判别网络，所述训练方法包括：获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得；将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失；<br>基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。为解决上述技术问题，本申请提供了一种网络模型的训练装置，所述训练装置包括：第一获取单元，用于获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得；第一生成单元，用于将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；判别单元，用于将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失；训练单元，用于基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。为解决上述技术问题，本申请提供了另一种人脸图像的超分辨率重建方法，所述超分辨率重建方法包括：获取待重建超分辨率的低分辨率人脸图像；将所述待重建超分辨率的低分辨率人脸图像输入所述网络模型，获得超分辨率的人脸图像，其中，所述网络模型为上述任一项所述的方法所训练的网络模型。为解决上述技术问题，本申请提供了一种人脸图像的超分辨率重建装置，所述人脸图像的超分辨率重建装置包括：第二获取单元，用于获取待重建超分辨率的低分辨率人脸图像；第二生成单元，用于将所述待重建超分辨率的低分辨率人脸图像输入所述网络模型，获得超分辨率的人脸图像。为解决上述技术问题，本申请提供了一种终端设备，所述设备包括存储器以及与所述存储器耦接的处理器；所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述任一项所述的网络模型的训练方法和/或上述任一项所述的人脸图像的超分辨率重建方法。为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述任一项所述的网络模型的训练方法和/或上述任一项所述的人脸图像的超分辨率重建方法。上述方案中，获取低分辨率训练图像以及与低分辨率训练图像对应的高分辨率训练图像，其中，低分辨率训练图像和高分辨率训练图像均是基于对同一目标对象拍摄获得；将低分辨率训练图像输入生成网络，得到超分辨率训练图像，计算超分辨率训练图像和高分辨率训练图像的误差损失；将高分辨率训练图像和超分辨率训练图像输入判别网络，得到高分辨率训练图像和超分辨率训练图像的对抗损失；基于误差损失和对抗损失，对网络模型进行训练，直至训练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。本申请利用低分辨率训练图像和与低分辨率训练图像对应的高分辨率训练图像对呈对抗关系的生成网络和判别网络进行训练，无需额外的特征属性即可得到满足要求的网络模型，提高了网络模型生成图像的清晰度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1是本申请提供的网络模型的训练方法第一实施例的流程示意图；图2是本申请提供的网络模型的训练方法第二实施例的流程示意图；图3是本申请提供的网络模型的训练方法第三实施例的流程示意图；图4是本申请提供的网络模型的训练方法中网络模型的简易示意图；图5是本申请提供的网络模型的训练方法中分辨率放大网络的简易示意图；图6是本申请提供的网络模型的训练方法中门控循环网络的简易示意图；图7是本申请提供的人脸图像超分辨率重建方法的一实施例的流程示意图；图8是本申请提供的网络模型的训练装置一实施例的框架示意图；图9是本申请提供的人脸图像超分辨率重建装置一实施例的框架示意图；图10是本申请提供的终端设备一实施例的结构示意图；图11是本申请提供的计算机存储介质一实施例的框架示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请提出了一种网络模型的训练方法，可应用于低分辨率人脸图像的超分辨率人脸图像重建，旨在将低分辨率的人脸图像生成为超分辨率的人脸图像，通过本申请网络模型的训练方法可以提高网络模型生成图像的清晰度，具体请参见图1，图1是本申请提供的网络模型的训练方法第一实施例的流程示意图。本实施例的网络模型的训练方法可应用于超分辨率图像重建装置，也可应用于具有数据处理能力的服务器。本实施例的网络模型的训练方法具体包括以下步骤：S101：获取低分辨率训练图像以及与低分辨率训练图像对应的高分辨率训练图像。本实施例中的超分辨率图像重建装置通过对同一目标对象进行拍摄，得到相互对应的低分辨率训练图像与高分辨率训练图像。具体地，本实施例可通过在超分辨率图像重建装置上设置用于拍摄低分辨率图像的摄像头和用于拍摄高分辨率图像的摄像头，利用用于拍摄低本文档来自技高网...

【技术保护点】
1.一种网络模型的训练方法，所述网络模型包括呈对抗关系的生成网络和判别网络，其特征在于，所述训练方法包括：/n获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得；/n将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；/n将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失；/n基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。/n

【技术特征摘要】
1.一种网络模型的训练方法，所述网络模型包括呈对抗关系的生成网络和判别网络，其特征在于，所述训练方法包括：
获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得；
将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；
将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失；
基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。


2.根据权利要求1所述的训练方法，其特征在于，所述训练方法还包括：
将所述高分辨率训练图像和所述超分辨率训练图像进行频域解析，得到所述高分辨率训练图像和所述超分辨率训练图像的频域损失；
基于所述误差损失、所述对抗损失和所述频域损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失、所述对抗损失及所述频域损失之和小于第二预设损失阈值。


3.根据权利要求1或2所述的训练方法，其特征在于，所述生成网络包括分辨率放大网络和重建网络，所述分辨率放大网络包括卷积层和最近邻插值层，所述将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像的步骤，包括：
利用所述分辨率放大网络中的卷积层和最近邻插值层对所述低分辨率训练图像进行放大处理，放大所述低分辨率训练图像中的分辨率；
利用所述重建网络对所述放大分辨率后的低分辨率训练图像进行图像重建处理，得到所述超分辨率训练图像。


4.根据权利要求3所述的训练方法，其特征在于，所述重建通道网络包括对称网络结构和门控循环网络，所述利用所述重建通道网络对所述放大分辨率后的低分辨率训练图像进行图像重建处理，得到所述超分辨率训练图像的步骤，包括：
利用所述对称网络结构对所述放大分辨率后的低分辨率训练图像进行图像重建处理，并通过门控循环网络融合所述放大分辨率后的低分辨率训练图像在所述对称网络结构中的浅层特征信息。


5.根据权利要求1所述的训练方法，其特征在于，所述以及计算所述高分辨率训练图像和所述超分辨率训练图像的误差损失的步骤，包括：
计算所述高分辨率训练图像和所述超分辨率训练图像的均方误差及算数平方根的均方误差；
基于所述高分辨率训练图像和所述超分辨率训练图像的均方误差及算数平方根的均方误差，计算所述高分辨率训练图像和所述超分辨率训练图像的误差损失。


6.根据权利要求5所述的训练方法，其特征在于，所述将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失的步骤，包括：
利用所述判别网络对所述超分辨率训练图像和所述高分辨率训...

【专利技术属性】
技术研发人员：惠强，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33