一种基于降质模式解耦学习的多降质图像复原方法技术

本发明专利技术公开了一种基于降质模式解耦学习的多降质图像复原方法，包括如下步骤：将降质后的图像输送到已训练完成的图像复原模型中，以输出恢复图像；图像复原模型包括骨干网络和解耦优化算子，解耦优化算子包括奇异向量优化算子和奇异值优化算子；奇异向量优化算子利用正交矩阵相乘不改变奇异值而仅改变奇异向量的特点，对降质后图像的降质表征奇异向量进行优化；奇异值优化算子基于奇异值分解与傅里叶变换相似的信号形成原理，利用快速傅里叶变换对降质后图像的降质表征奇异值进行优化；该多降质图像复原方法实现了多降质图像复原任务之间的联合优化，从而以较少的模型参数与计算复杂度实现更优的性能。复杂度实现更优的性能。复杂度实现更优的性能。

【技术实现步骤摘要】
一种基于降质模式解耦学习的多降质图像复原方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于降质模式解耦学习的多降质图像复原方法。

技术介绍

[0002]图像复原旨在从受降质污染的观测中恢复出潜在的高质量图像，常见的图像复原任务包括图像去雨、图像去雾、图像去噪、图像去模糊、低光图像增强等。除了在经典的相片恢复中获得令人满意的视觉效果外，图像复原也被广泛应用于其他真实世界场景例如自动驾驶、道路监控等，以辅助目标识别、目标跟踪等高层视觉任务。目前，多数的图像复原方法仅针对一种降质类型进行处理，难以适应复杂场景下降质类型的变化性与不可预知性。因此，部署端通常需要在多个降质复原模型间进行切换，造成存储与计算资源的极大消耗。
[0003]为了解决这一问题，在深度学习时代下已有工作开始关注于多降质的图像复原问题，其特点在于采用单一的网络模型处理不同图像复原任务。其中可分为通用多降质图像复原方法以及联合多降质图像复原方法。前者使用相同的网络结构，但对于不同的图像复原任务采用不同的网络参数。后者则使用一套网络参数处理不同的降质类型。
[0004]目前的联合多降质图像复原方法大多采用一种降质互斥的范式进行学习，即在于强调不同降质类型的差异性以实现网络内部的特异化处理，而不同降质类型之间的关联性未被有效考虑。例如在共享的骨干网络外，对不同的降质类型采用不同的头部网络和尾部网络，或是在Transformer架构中对不同的降质类型设置不同的Query进行判别式查询，以及使用对比学习的方式提供不同降质类型的降质表示以指导模型进行复原。导致现有的多降质图像复原方法通常需要较大的模型尺寸以及繁重的计算复杂度以得到较好的性能。
[0005]虽然已有少量工作开始尝试两种降质类型之间的联合优化。例如利用模糊与噪声图像对在成像过程中的互补性进行联合复原，或是使用低光增强编码器与去模糊解码器实现混合降质复原，以及使用一种量化任意两种图像复原任务之间关系的方法，并使用辅助复原任务来提升主复原任务的性能。然而，这些方法通常具有较强的降质特定性或难以适用于更多降质类型之间的联合优化。

技术实现思路

[0006]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于降质模式解耦学习的多降质图像复原方法，实现多降质图像复原任务之间的联合优化，从而以较少的模型参数与计算复杂度实现更优的性能。
[0007]本专利技术提出的一种基于降质模式解耦学习的多降质图像复原方法，包括如下步骤：
[0008]将降质后的图像输送到已训练完成的图像复原模型中，以输出恢复图像；
[0009]所述图像复原模型包括骨干网络和解耦优化算子，解耦优化算子替换骨干网络中的基本构成单元，所述解耦优化算子包括奇异向量优化算子和奇异值优化算子；
[0010]奇异向量优化算子利用正交矩阵相乘不改变奇异值而仅改变奇异向量的特点，对降质后图像的降质表征奇异向量进行优化；
[0011]奇异值优化算子基于奇异值分解与傅里叶变换相似的信号形成原理，利用快速傅里叶变换对降质后图像的降质表征奇异值进行优化。
[0012]进一步地，在骨干网络瓶颈层嵌入的解耦优化算子仅具有奇异值优化算子，其余嵌入位置解耦优化算子具有奇异向量优化算子与奇异值优化算子。
[0013]进一步地，所述奇异向量优化算子中的解耦优化具体过程如下：
[0014]定义图像复原模型中所嵌入的第i个解耦优化算子的输入特征为X，计算输入特征为X的反像素重组表示X
′
；
[0015]对反像素重组表示X
′
施加具有正交约束的卷积得到特征Y
′
vec
，计算特征Y
′
vec
的像素重组表示Y
vec
，像素重组表示Y
vec
为奇异向量优化算子的输出特征。
[0016]进一步地，特征其中，h和w分别表示输入特征X的高度及宽度，c表示输入特征X的维度，r表示缩放因子；
[0017]特征Y
′
vec
的计算公式如下：
[0018]Y
′
vec
＝conv(X
′
)
[0019]卷积的正交约束表示为：
[0020][0021]其中，W表示1
×
1卷积的权重矩阵，1表示一个元素全为1的矩阵，I表示单位矩阵，
⊙
表示逐元素相乘，‖
·
‖
F
表示矩阵的Frobenius范数，T表示矩阵转置。
[0022]进一步地，奇异值优化算子的解耦优化具体过程如下：
[0023]定义图像复原模型中所嵌入的第i个解耦优化算子中奇异值优化算子的输入特征X
val
，输入特征X
val
为奇异向量优化算子的输出特征Y
vec
；
[0024]对输入特征X
val
进行傅里叶变换得到特征对特征进行卷积操作输出特征
[0025]计算的傅里叶逆变换Y
val
；特征Y
val
作为奇异值优化算子的输出特征。
[0026]进一步地，将奇异向量优化算子和奇异值优化算子封装为解耦优化算子，以实现图像复原模型的解耦学习，封装过程为：定义奇异向量优化算子为vec(
·
)，定义奇异值优化算子为val(
·
)，则解耦优化算子按如下公式计算：
[0027]Y＝conv([val(vec(X)),vec(X)])
[0028]其中，X为图像复原模型中所嵌入的第i个解耦优化算子的输入特征，Y为图像复原模型中所嵌入的第i个解耦优化算子的输出特征，[
·
]代表通道间级联，conv(
·
)代表3
×
3卷积。
[0029]进一步地，图像复原模型的训练过程如下：
[0030]以任意卷积架构的通用图像复原网络为骨干网络构建图像复原模型，将解耦优化算子嵌入图像复原模型中；
[0031]构建训练集，所述训练集包括多种降质类型的图像；
[0032]构建所述图像复原模型的目标损失函数，该目标损失函数包括骨干网络的原始损失函数和解耦优化算子嵌入后的重构损失函数；
[0033]将训练集输入至所述图像复原模型中进行训练，得到所述预训练后的图像复原模型。
[0034]进一步地，所述图像复原模型的目标损失函数如下：
[0035][0036][0037][0038]其中，表示骨干网络的原始损失函数，λ
oryh
和λ
frv
表示损失函数的平衡权重，表示卷积的正交约束，表示重构损失函数，I
clean
表示与输入的降质图像对应的原始未降质图像，I
rec
表示输入的降质图像经过图像复原模型输出的恢复图像，‖.‖1表示L1范数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于降质模式解耦学习的多降质图像复原方法，其特征在于，包括如下步骤：将降质后的图像输送到已训练完成的图像复原模型中，以输出恢复图像；所述图像复原模型包括骨干网络和解耦优化算子，解耦优化算子替换骨干网络中的基本构成单元，所述解耦优化算子包括奇异向量优化算子和奇异值优化算子；奇异向量优化算子利用正交矩阵相乘不改变奇异值而仅改变奇异向量的特点，对降质后图像的降质表征奇异向量进行优化；奇异值优化算子基于奇异值分解与傅里叶变换相似的信号形成原理，利用快速傅里叶变换对降质后图像的降质表征奇异值进行优化。2.根据权利要求1所述的基于降质模式解耦学习的多降质图像复原方法，其特征在于，在骨干网络瓶颈层嵌入的解耦优化算子仅具有奇异值优化算子，其余嵌入位置解耦优化算子具有奇异向量优化算子与奇异值优化算子。3.根据权利要求1所述的基于降质模式解耦学习的多降质图像复原方法，其特征在于，所述奇异向量优化算子中的解耦优化具体过程如下：定义图像复原模型中所嵌入的第i个解耦优化算子的输入特征为X，计算输入特征为X的反像素重组表示X
′
；对反像素重组表示X
′
施加具有正交约束的卷积得到特征Y
′
vec
，计算特征Y
′
vec
的像素重组表示Y
vec
，像素重组表示Y
vec
为奇异向量优化算子的输出特征。4.根据权利要求3所述的基于降质模式解耦学习的多降质图像复原方法，其特征在于，特征其中，h和w分别表示输入特征X的高度及宽度，c表示输入特征X的维度，r表示缩放因子；特征Y
′
vec
的计算公式如下：Y
′
vec
＝conv(X
′
)卷积的正交约束表示为：其中，W表示1
×
1卷积的权重矩阵，1表示一个元素全为1的矩阵，I表示单位矩阵，
⊙
表示逐元素相乘，‖
·
‖
F
表示矩阵的Frobenius范数，T表示矩阵转置。5.根据权利要求3所述的基于降质模式解耦学习的多降质图像复原方法，其特征在于，奇异值优化算子的解耦优化具体过程如下：定义图像复原模型中所嵌入的第i个解耦优化算子中奇异值优化算子的输入特征X
val
，输入特征X
val
为奇异向量优化算子的输出特征Y
v...

【专利技术属性】
技术研发人员：赵峰，张景皓，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：