本公开关于一种图像超分辨率方法、图像超分辨率模型训练方法、装置、设备及介质。图像超分辨率方法包括：获取原始分辨率图像；将原始分辨率图像输入训练完成的图像超分辨率模型，得到与原始分辨率图像匹配的目标分辨率图像；训练完成的图像超分辨率模型为基于原始分辨率样本图像、原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；原始分辨率低于目标分辨率，中间分辨率样本图像根据原始分辨率样本图像和目标分辨率样本图像得到；中间分辨率介于原始分辨率和目标分辨率之间；将目标分辨率图像，作为原始分辨率图像的超分辨率处理结果。本公开可以提高图像超分辨率模型的模型精度，进而提高图像细节的处理效果。节的处理效果。节的处理效果。
【技术实现步骤摘要】
图像超分辨率方法、图像超分辨率模型训练方法和装置
[0001]本公开涉及图像处理
，尤其涉及一种图像超分辨率方法、图像超分辨率模型训练方法、装置、电子设备及存储介质。
技术介绍
[0002]随着图像处理技术的发展，出现了一种用于将观察到的低分辨率图像重建出相应的高分辨率图像，来提高原有图像分辨率的图像超分辨率处理技术，该技术可以满足图像高清显示的需求，因此在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
[0003]相关技术中，目前对图像进行超分辨率处理，主要是利用预先训练的超分辨率模型实现，通过将低分辨率图片输入至超分辨率模型中，由超分辨率模型输出对应的高分辨率图像，该模型在训练时通常将低分辨率图像输入模型中，通过模型输出针对低分辨率图像的超分辨率处理预测结果，并利用该预测结果与真实的高分辨率图像构造损失函数，从而实现模型的训练。然而，在低分辨率图像中图像细节往往处于缺失的状态，因此直接训练出的图像超分辨率的模型进行图像超分辨率处理，对图像细节的处理效果较差。
技术实现思路
[0004]本公开提供一种图像超分辨率方法、图像超分辨率模型训练方法、装置、电子设备及存储介质，以至少解决相关技术中图像超分辨率处理对图像细节的处理效果差的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种图像超分辨率方法，包括：
[0006]获取原始分辨率图像；
[0007]将所述原始分辨率图像输入训练完成的图像超分辨率模型，得到与所述原始分辨率图像匹配的目标分辨率图像；所述训练完成的图像超分辨率模型为基于原始分辨率样本图像、所述原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，所述中间分辨率样本图像根据所述原始分辨率样本图像和所述目标分辨率样本图像得到；中间分辨率介于所述原始分辨率和所述目标分辨率之间；
[0008]将所述目标分辨率图像，作为所述原始分辨率图像的超分辨率处理结果。
[0009]在一示例性实施例中，图像超分辨率方法，还包括：获取原始分辨率样本图像，以及与所述原始分辨率样本图像匹配的目标分辨率样本图像；根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本图像；将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；利用所述中间分辨率预测图像与所述中间分辨率样本图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。
[0010]在一示例性实施例中，所述利用所述中间分辨率预测图像与所述中间分辨率样本
图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型，包括：基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，以及基于所述目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值；利用所述第一损失值以及所述第二损失值，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。
[0011]在一示例性实施例中，所述待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；所述将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像，包括：将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征；基于所述第一图像特征得到所述中间分辨率预测图像；将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于所述第二图像特征得到所述目标分辨率预测图像。
[0012]在一示例性实施例中，利用所述第一损失值以及所述第二损失值对所述待训练的图像超分辨率模型进行训练，包括：利用所述第一损失值以及所述第二损失值，对所述第一图像超分辨率子模型进行训练，以及利用所述第二损失值，对所述第二图像超分辨率子模型进行训练。
[0013]在一示例性实施例中，所述第一图像超分辨率子模型的数量为多个；所述将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征，包括：获取当前第一图像超分辨率子模型；在所述当前第一图像超分辨率子模型为多个所述第一图像超分辨率子模型中的首个第一图像超分辨率子模型的情况下，将所述原始分辨率样本图像输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征；在所述当前第一图像超分辨率子模型不是所述首个第一图像超分辨率子模型的情况下，将所述当前第一图像超分辨率子模型的上一个第一图像超分辨率子模型对应的第一图像特征输入所述当前第一图像超分辨率子模型，得到所述当前第一图像超分辨率子模型对应的第一图像特征。
[0014]在一示例性实施例中，所述将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征，包括：将多个所述第一图像超分辨率子模型中最后一个第一图像超分辨率子模型对应的第一图像特征输入所述第二图像超分辨率子模型，得到所述第二图像特征。
[0015]在一示例性实施例中，所述中间分辨率样本图像的数量为多个，各个中间分辨率样本图像分别与各个当前第一图像超分辨率子模型相匹配；所述基于所述第一图像特征得到所述中间分辨率预测图像，包括：基于各个当前第一图像超分辨率子模型对应的第一图像特征，得到所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像；基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，包括：基于所述各个当前第一图像超分辨率子模型分别对应的中间分辨率预测图像，以及所述各个当前第一图像超分辨率子模型分别匹配的中间分辨率样本图像，得到所述各个当前第一图像超分辨率子模型分别对应的第一损失值。
[0016]在一示例性实施例中，所述根据所述原始分辨率样本图像，以及所述目标分辨率
样本图像，得到中间分辨率样本图像，包括：对所述原始分辨率样本图像进行上采样处理，得到与所述原始分辨率样本图像对应的上采样图像；获取所述上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的中间分辨率样本图像的第二影响权重；按照所述第一影响权重以及所述第二影响权重，对所述上采样图像以及所述目标分辨率样本图像进行加权处理，得到所述中间分辨率样本图像。
[0017]在一示例性实施例中，所述待生成的中间分辨率样本图像的数量为多个；所述获取所述上采样图像针对待生成的中间分辨率样本图像的第一影响权重，以及所述目标分辨率样本图像针对所述待生成的中间分辨率样本图像的第二影响权重，包括：获取待生成的当前中间分辨率样本图像在多个所述待生成的中间分辨率样本图像中的样本图像排序；根据所述样本图像排序，确定所述上采样图像针对所述待生本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像超分辨率方法，其特征在于，包括：获取原始分辨率图像；将所述原始分辨率图像输入训练完成的图像超分辨率模型，得到与所述原始分辨率图像匹配的目标分辨率图像；所述训练完成的图像超分辨率模型为基于原始分辨率样本图像、所述原始分辨率样本图像匹配的目标分辨率样本图像，以及中间分辨率样本图像训练得到；其中，原始分辨率低于目标分辨率，所述中间分辨率样本图像根据所述原始分辨率样本图像和所述目标分辨率样本图像得到；中间分辨率介于所述原始分辨率和所述目标分辨率之间；将所述目标分辨率图像，作为所述原始分辨率图像的超分辨率处理结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取原始分辨率样本图像，以及与所述原始分辨率样本图像匹配的目标分辨率样本图像；根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本图像；将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像；利用所述中间分辨率预测图像与所述中间分辨率样本图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。3.根据权利要求2所述的方法，其特征在于，所述利用所述中间分辨率预测图像与所述中间分辨率样本图像之间的差异，以及所述目标分辨率预测图像与所述目标分辨率样本图像之间的差异，对所述待训练的图像超分辨率模型进行训练，得到训练完成的图像超分辨率模型，包括：基于所述中间分辨率样本图像与所述中间分辨率预测图像，得到第一损失值，以及基于所述目标分辨率样本图像与所述目标分辨率预测图像，得到第二损失值；利用所述第一损失值以及所述第二损失值，对所述待训练的图像超分辨率模型进行训练，得到所述训练完成的图像超分辨率模型。4.根据权利要求3所述的方法，其特征在于，所述待训练的图像超分辨率模型，包括第一图像超分辨率子模型，以及第二图像超分辨率子模型；所述将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得到与所述原始分辨率样本图像对应的中间分辨率预测图像，以及目标分辨率预测图像，包括：将所述原始分辨率样本图像输入所述第一图像超分辨率子模型，得到第一图像特征；基于所述第一图像特征得到所述中间分辨率预测图像；将所述第一图像特征输入所述第二图像超分辨率子模型，得到第二图像特征；基于所述第二图像特征得到所述目标分辨率预测图像。5.一种图像超分辨率模型训练方法，其特征在于，包括：获取原始分辨率样本图像，以及与所述原始分辨率样本图像匹配的目标分辨率样本图像，其中，原始分辨率低于目标分辨率；根据所述原始分辨率样本图像，以及所述目标分辨率样本图像，得到中间分辨率样本
图像；其中，中间分辨率介于所述原始分辨率和所述目标分辨率之间；将所述原始分辨率样本图像输入待训练的图像超分辨率模型，得...
【专利技术属性】
技术研发人员：磯部駿，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。