一种利用通用模型对比范式提升图像复原的方法技术

本发明专利技术提出一种利用通用模型对比范式提升图像复原的方法，该方法使用指数移动平均的方式得到目标模型在不同训练迭代的历史版本作为负样本模型。然后定义SPN损失函数,在特征空间中拉大目标模型表示与负样本模型表示之间的距离。此外,还同时引入多个历史模型构造多个负样本，使得训练更加稳定。相比于现有通过手工设定负样本的对比学习方法,该方法对比学习范式无需特定任务先验,对不同图像复原任务具有泛化能力。可以很容易地和已有方法相结合,仅需将SPN损失加入原有目标函数即可。通过在图像超分辨率、去雨、去雾等任务上对不同模型进行重训练,实验结果表明,该方法对比学习框架可以显著提升各个模型的性能,优于现有对比学习技术。

【技术实现步骤摘要】

本专利技术属于图像复原，尤其涉及一种利用通用模型对比范式提升图像复原的方法。

技术介绍

1、图像复原是计算机视觉领域中的一个基础问题，目的是从低质量的(low-quality，lq)图像中恢复高质量的(high-quality，hq)图像，主要包括单帧图像超分辨率(single image super-resolution，sisr)、去雾(image dehazing)、去雨(imagederaining)和去模糊(image deblurring)等任务。基于深度学习的方法为图像复原任务带来了巨大进步。卷积神经网络(convolutional neural networks，cnn)被广泛应用于各类图像复原任务，并取得了良好效果。随后衍生出一系列不同的网络架构以取得更好的图像复原效果。最近，transformer结构也被应用于图像复原任务，取得了一系列突破。

2、不过图像复原任务由于求解反问题存在的不确定性，仍存在诸多挑战。通常仿真的图像复原数据集包含了目标高质量图像，如何挖掘和引入负样本信息引起广泛关注。最近基于对比学习的自监督范式在高层本文档来自技高网...

【技术保护点】

1.一种利用通用模型对比范式提升图像复原的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于：在步骤一中，采用指数移动平均的方式更新负样本模型:

3.根据权利要求2所述的方法，其特征在于：目标样本与负样本在预训练的特征提取网络映射到特征空间后，得到对应的特征表示frec和fneg；定义如下自先验指导的负样本损失函数:

4.根据权利要求3所述的方法，其特征在于：自先验指导的负样本损失能够扩展到多负样本形式，以获得更稳健的训练过程；设置不同的更新步长s引入多个负样本模型，以产生多个有效的负样本；基于公式(2)，得到多负样本损...

【技术特征摘要】

1.一种利用通用模型对比范式提升图像复原的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于：在步骤一中，采用指数移动平均的方式更新负样本模型:

3.根据权利要求2所述的方法，其特征在于：目标样本与负样本在预训练的特征提取网络映射到特征空间后，得到对应的特征表示frec和fneg；定义如下自先验指导的负样本损失函...

【专利技术属性】
技术研发人员：江俊君，吴刚，江奎，刘贤明，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：