基于参考图像的超分辨率方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了基于参考图像的超分辨率方法、装置、设备及介质，方法包括：对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；对所述训练集进行超分辨率网络前向传播，得到SR图像；对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；对原始的损失函数进行调整；根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。本发明专利技术实施例实现了任意非整数尺度需求的图像超分辨率，并巧妙地避开了冗余，繁琐的多次训练过程，实用性高，可广泛应用于图像处理技术领域。用于图像处理技术领域。用于图像处理技术领域。

【技术实现步骤摘要】
基于参考图像的超分辨率方法、装置、设备及介质


[0001]本专利技术涉及图像处理
，尤其是基于参考图像的超分辨率方法、装置、设备及介质。

技术介绍

[0002]图像超分辨率(SR)是指通过低分辨率图像中恢复出自然以及真实高分辨率图像的图像处理方式。近年来，随着深度学习的兴起，为解决这一问题提供了强有力的工具。基于卷积神经网络的众多方法的提出，使得SR性能得到了显著的提升。SR的研究通常有两种范式:一种是单图像超分辨率(SISR)，另一种是基于参考的图像超分辨率(Ref SR)。由于高分辨率(HR)纹理在退化过程中被过度破坏，无法恢复，传统的SISR常常会导致模糊效果。虽然近年来已经提出了基于生成对抗网络(GAN)的图像超分辨率方法来解决上述问题，但生成对抗网络所产生的幻觉和伪影进一步给SR任务带来了巨大的挑战。
[0003]近期，基于图像超分辨率的纹理迁移算法TTSR取得了速度以及精度上的突破。TTSR是以参考图像为范式，结合Transformer的注意力机制开发的一种图像超分辨率算法。该算法摆脱了原Ref SR系列算法对参考图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于参考图像的超分辨率方法，其特征在于，包括：对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集；对所述训练集进行超分辨率网络前向传播，得到SR图像；对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像；对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像；对原始的损失函数进行调整；根据所述验证集、所述测试集以及所述调整后的损失函数，确定目标模型，所述目标模型能够对目标图像进行超分辨率。2.根据权利要求1所述的基于参考图像的超分辨率方法，其特征在于，所述对获取的原始数据集进行预处理，得到各尺度训练所需的训练集、验证集和测试集，包括：获取高分辨率图像；将所述高分辨率图像裁剪成多个小尺寸图像块集合，得到HR图像集合和REF图像集合；对所述图像块集合进行任意非整数尺度的下采样处理，得到LR图像集合；对所述HR图像集合、所述REF图像集合和所述LR图像集合进行比例切分，得到训练集、验证集以及测试集；其中，所述训练集、验证集以及测试集的切分比例为8:1:1。3.根据权利要求2所述的基于参考图像的超分辨率方法，其特征在于，所述对所述训练集进行超分辨率网络前向传播，得到SR图像这一步骤中，所述训练集为所述HR图像集合、所述REF图像集合和所述LR图像集合的图像集合；所述超分辨率网络为TTSR的图像超分辨率网络；所述SR图像为TTSR进行4倍后的图像超分辨率结果。4.根据权利要求3所述的基于参考图像的超分辨率方法，其特征在于，所述对所述SR图像进行特征融合，得到若干种尺度下的多个SR图像，包括：通过特征融合网络将TTSR进行4倍后的图像超分辨率结果进行特征融合，得到尺度为1、2、4的三种SR图像。5.根据权利要求4所述的基于参考图像的超分辨率方法，其特征在于，所述对所述多个SR图像进行尺度调整，得到任意尺度下的SR图像，包括：根据所述SR图像的当前尺度与任意尺度之间的差距，计算得到尺度调整模块的输入图像；根据所述输入图像的尺寸，确定权重...

【专利技术属性】
技术研发人员：蔡杜荣，张鹏，
申请(专利权)人：中山大学，
类型：发明
国别省市：