图像超分辨率重建方法、模型训练方法、装置及电子设备制造方法及图纸

本公开关于一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，由于本实施例通过采用具有不同分辨率的同一样本图像作为训练数据，分别进行多尺度的特征提取、码本量化以及解码重建，并基于各环节的输出特征对网络进行训练，从而使得训练后的模型可以学习到图像完整的双分辨率纹理表示，并具有跨分辨率对应性而对复杂的退化具有鲁棒性，以得到能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像的图像超分辨率重建模型。率图像的图像超分辨率重建模型。率图像的图像超分辨率重建模型。

【技术实现步骤摘要】
图像超分辨率重建方法、模型训练方法、装置及电子设备


[0001]本公开涉及图像处理
，尤其涉及一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。随着电子设备的普及，随时随地拍摄照片已成为人们生活中必不可少的习惯，而普通用户的拍摄结果也已成为了多媒体资源的主流。
[0003]然而，因受到拍摄设备、技术、环境以及传播数据压缩等因素的影响，网络中传输的大量图片，通常会包含复杂多样的图片退化，例如模糊、噪声、低分辨率等，这些图片退化明显影响了图片质量。因此，如何有效修复图片中的各类退化对于提高图片质量有着至关重要的作用。

技术实现思路

[0004]本公开提供一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，以至少解决相关技术中如何有效修复图片中各类退化的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种图像超分辨率重建模型训练方法，包括：
[0006]获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
[0007]对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
[0008]对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；
[0009]对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；
[0010]根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。
[0011]在其中一个实施例中，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型，包括：根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第
二分辨率样本图像，确定用于模型训练的损失函数；根据所述损失函数调整所述图像重建网络的网络参数；当调整后的所述图像重建网络满足收敛条件时，将调整后的所述图像重建网络确定为所述图像超分辨率重建模型。
[0012]在其中一个实施例中，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数，包括：根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失；根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失；根据所述第二分辨率样本图像、所述第一样本量化特征和所述第二样本量化特征，确定第三损失；根据所述第一损失、所述第二损失以及所述第三损失的和，确定用于模型训练的损失函数。
[0013]在其中一个实施例中，所述根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失，包括：根据所述第一分辨率样本特征和所述第二分辨率样本特征，确定跨分辨率一致性损失；根据所述第一分辨率样本特征、所述第一样本量化特征、所述第二分辨率样本特征以及所述第二样本量化特征，确定优化基本损失；将所述跨分辨率一致性损失和所述优化基本损失的和，确定为所述第一损失。
[0014]在其中一个实施例中，所述对所述多尺度分辨率的第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，包括：对所述多尺度分辨率的所述第一样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第一图像；对所述多尺度分辨率的所述第一样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第二图像；对所述多尺度分辨率的所述第二样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第三图像；对所述多尺度分辨率的所述第二样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第四图像。
[0015]在其中一个实施例中，所述根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失，包括：根据重建的所述第一图像、所述第二图像、所述第三图像、所述第四图像以及所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失。
[0016]在其中一个实施例中，所述图像重建网络中包括预先训练的多尺度码本子网；所述多尺度码本子网用于对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征，以及对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征。
[0017]在其中一个实施例中，所述多尺度码本子网至少包括第一尺度码本量化模块和第二尺度码本量化模块，所述第二尺度小于所述第一尺度；所述方法还包括：对所述第一尺度码本量化模块进行训练，确定训练后的所述第一尺度码本量化模块的第一模型参数；根据所述第一模型参数，对所述第二尺度码本量化模块进行训练，确定训练后的所述第二尺度码本量化模块的第二模型参数；根据所述第一模型参数和所述第二模型参数，确定所述多
尺度码本子网。
[0018]根据本公开实施例的第二方面，提供一种图像超分辨率重建方法，所述方法包括：
[0019]获取待重建图像；
[0020]将所述待重建图像输入至图像超分辨率重建模型，得到所述图像超分辨率重建模型输出的超分辨率图像；所述图像超分辨率重建模型采用如上第一方面所述的方法训练得到。
[0021]根据本公开实施例的第三方面，提供一种图像超分辨率重建模型训练装置，所述装置包括：
[0022]获取模块，被配置为执行获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
[0023]特征提取模块，被配置为执行对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建模型训练方法，其特征在于，所述方法包括：获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型，包括：根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数；根据所述损失函数调整所述图像重建网络的网络参数；当调整后的所述图像重建网络满足收敛条件时，将调整后的所述图像重建网络确定为所述图像超分辨率重建模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数，包括：根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失；根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失；根据所述第二分辨率样本图像、所述第一样本量化特征和所述第二样本量化特征，确定第三损失；根据所述第一损失、所述第二损失以及所述第三损失的和，确定用于模型训练的损失函数。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失，包括：
根据所述第一分辨率样本特征和所述第二分辨率样本特征，确定跨分辨率一致性损失；根据所述第一分辨率样本特征、所述第一样本量化特征、所述第二分辨率样本特征以及所述第二样本量化特征，确定优化基本损失；将所述跨分辨率一致性损失和所述优化基本损失的和，确定为所述第一损失。5.根据权利要求3所述的方法，其特征在于，所述对所述多尺度分辨率的第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，包括：对所述多尺度分辨率的所述第一样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第一图像；对所述多尺度分辨率的所述第一样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第二图像；对所述多尺度分辨率的所述第二样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第三图像；对所述多尺度分辨率的所述第二样本量化特征进行第二分辨率特征解码，得到对应...

【专利技术属性】
技术研发人员：秦睿，戴宇荣，王斌，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：