一种基于条件卷积与频谱辅助的任意尺度超分重建方法技术

本发明专利技术公开了一种基于条件卷积与频谱辅助的任意尺度超分重建方法，该方法包括：主干网络采用全条件卷积设计，使得网络能够根据实际应用中需要的宽度和高度放大倍数自适应的调整主干网络中所有卷积核参数，该方法在计算网络损失时引入网络不同层级的频谱损失作为辅助，进一步提升了图片细节重建质量。网络训练具体包括：首先，将宽度和高度放大倍数输入两级全连接层，得到不同层级条件卷积的计算权重，根据权重通过加权求和得到每级条件卷积的卷积核参数；然后，将原始图像经过上采样后，依次利用各个条件卷积层进行处理得到最终输出；通过计算各层级频谱损失结合最终输出图像的结构相似性损失及均方误差计算网络总损失，据此进行网络参数更新。此进行网络参数更新。此进行网络参数更新。

【技术实现步骤摘要】
一种基于条件卷积与频谱辅助的任意尺度超分重建方法


[0001]本专利技术涉及机器视觉及深度学习
，特别涉及一种基于条件卷积与频谱辅助的任意尺度超分重建方法。

技术介绍

[0002]图像超分辨率重建是运用图像处理算法将一帧或多帧图像转换为更高分辨率图像的技术。随着深度学习技术的进步，利用强大的网络可以显著提高图像超分辨率重建的性能。然而，现有的网络几乎都只适用于具有特定整数尺度因子(如
×
2/3/4)的任务，无法完成非整数和不对称超分辨率重建。然而，非整数和不对称超分辨率重建在许多实际应用中是非常必要的，例如低质量胶片电影修复、图像编辑等。为了解决这个问题，研究人员提出了Meta
‑
SR网络，使用元学习动态预测不同尺度因子的滤波器，使其在非整数尺度因子上取得了令人满意的性能。然而，Meta
‑
SR仅在上采样阶段使用尺度信息，导致所有不同尺度因子的超分辨率重建任务所使用的主干特征相同，限制了性能的提升。此外，Meta
‑
SR也无法处理非对称尺度因子的超分辨率重建任务。此时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件卷积与频谱辅助的任意尺度超分重建方法，所述方法包括：将待重建的原始图片、宽度放大倍数和高度放大倍数输入预先建立并训练完成的重建模型中，得到重建图像；其中，所述重建模型的主干网络采用N个条件卷积层级联设计，并使用N组卷积核分别对应生成每个条件卷积层的卷积参数；并且所述重建模型将重建过程中每个条件卷积层对应的频谱损失均纳入总损失计算。2.根据权利要求1所述的基于条件卷积与频谱辅助的任意尺度超分重建方法，其特征在于，所述重建模型包括：主干网络、条件卷积参数生成模块和频谱损失辅助计算模块，其中，所述主干网络模块，包括上采样层和N个级联的条件卷积层；所述上采样层，用于对按照宽度放大倍数和高度放大倍数将原始图片放大，并输入到第1个条件卷积层；之后的每个条件卷积层，均用于对上一个条件卷积层输出的图像进行条件卷积处理后输出图像；第N个条件卷积层输出的图像即为重建图像；所述条件卷积参数生成模块，用于根据宽度放大倍数和高度放大倍数生成每个条件卷积层的卷积参数；所述频谱损失辅助计算模块，用于分别计算重建过程中前N
‑
1个条件卷积层对应的频谱损失；前N
‑
1个条件卷积层对应的频谱损失与第N个条件卷积层对应的均方误差和结构相似度损失共同用于计算重建模型的总损失。3.根据权利要求2所述的基于条件卷积与频谱辅助的任意尺度超分重建方法，其特征在于，所述频谱损失辅助计算模块，包括N
‑
1个卷积层；所述N
‑
1个卷积层分别与前N
‑
1个条件卷积层一一对应相联，用于对相应条件卷积层输出的图像进行卷积操作，并输出图像；各个卷积层输出的图像，用于与原始图像分别计算频谱损失；所述条件卷积参数生成模块，包括级联的第一级全连接层、第二级全连接层和卷积参数生成层；所述第二全连接层包括N个并列的全连接层；所述卷积参数生成层包括N个并列的卷积参数生成块；每个卷积参数生成块，均包括多组卷积核；第一级全连接层，用于根据输入的宽度放大倍数和高度放大倍数输出特征f
FC
，并分别输入到N个并列的全连接层；第i个全连接层，用于对f
FC
进行处理后输出f
FCi
，并输入到第i个卷积参数生成块；第i个卷积参数生成块以f
FCi
为权重系数对该卷积参数生成块的多组卷积核分别在卷积核输出通道上进行加权求和，得到卷积参数，并输入到第i个条件卷积层；i＝1，2，...，N。4.根据权利要求3所述的基于条件卷积与频谱辅助的任意尺度超分重建方法，其特征在于，所述方法还包括对重建模型进行训练，训练过程包括：步骤1.构造训练用数据集；所述训练用数据集包括多条训练数据，每条训练数据均为一个四元组<P
LR
，P
HR
，S
w
，S
h
<，其中，P
LR
为低分辨率图片，P
HR
为高分辨率图片，S
w
和S
h
分别为将低分辨率图片转换为高分辨率图片时的宽度放大倍数和高度放大倍数；步骤2.随机读取一条训练数据，将S
w
和S
h
输入条件卷积参数生成模块，得到不同层级条件卷积的计算权重，根据权重通过加权求和得到每级条件卷积的卷积参数；同时，将P
LR
输入上采样层，依次利用各个条件卷积层进行处理得到最终输出图像；结合均方误差计算各条
件卷积层对应的频谱损失，并结合最终输出图像的结构相似性损失计算总损失，根据总损失进行网络参数更新；步骤3.基于训练用数据集，重复步骤2，反复迭代，直至训练出最优参数组合，得到训练完成的重建模型。5.根据权利要求4所述的基于条件卷积与频谱辅助的任意尺度超分重建方法，其特征在于，所述步骤1中构造训练用数据集，具体包括：步骤1
‑
1.搜集不少于n张高分辨率图片，得到高分辨率图片集合；步骤1
‑
2.根据S
w
和S
h
的各种取值组合计算出对应低分辨率图片宽度和高度，通过双三次插值方式基于高质量图片生成对应的低分辨率图片，得到低分辨率图片集合；步骤1
‑
3.选取高分辨率图片集合和低分辨率图片集合中对应的图片，以及相应S
w
和S
h
的取值，得到多条训练数据，形成训练用数据集。6.根据权利要求4所述的基于条件卷积与频谱辅助的任意尺度超分重建方法，其特征在于，所述步骤2，具体包括：步骤2
‑
1.随机读取一条训练数据，将S
w
和S
h
输入给第一级全连接层FC，得到...

【专利技术属性】
技术研发人员：刘鹏，
申请(专利权)人：中国科学院声学研究所南海研究站，
类型：发明
国别省市：