一种智能立体图像去雾方法技术

本发明专利技术公开了一种智能立体图像去雾方法，方法包括：对于输入的有雾左右视图，构建特征提取模块分别提取有雾左右视图的特征；构建视差引导的雾感知机制，计算左右视图间的视差，引导网络感知场景中不同区域雾的分布；构建跨视图全局交互模块，通过提取视图间的全局相关性信息以增强特征；对特征提取模块、视差引导的雾感知机制和跨视图全局交互模块进行训练，训练过程中使用绝对误差损失函数和感知损失函数对网络的输出结果进行约束；输入有雾立体图像，挖掘视图间的全局相关性信息，利用视差关系引导网络对雾密度进行感知，输出清晰地立体图像。体图像。体图像。

【技术实现步骤摘要】
一种智能立体图像去雾方法


[0001]本专利技术涉及深度学习和图像去雾领域，尤其涉及一种智能立体图像去雾方法。

技术介绍

[0002]有雾天气下，传感器的图像采集过程会受到大气颗粒散射的影响，导致采集的有雾图像存在对比度低、颜色失真和纹理细节丢失等问题。此类问题不仅会影响观看者的视觉感受，还会为很多计算机视觉应用带来挑战。作为计算机视觉的底层任务，图像去雾旨在滤除有雾图像中的雾以复原图像中的细节信息，在自动驾驶、视频监控和无人机航拍等领域具有广泛的应用。根据所处理数据的不同，图像去雾任务可以分为单图去雾任务和立体图像去雾任务。
[0003]立体图像由从不同位置和角度拍摄的左右视图组成，可以为观看者提供生动的立体视觉感知。为了恢复清晰的立体图像，一类做法基于单图去雾方法分别对有雾左右视图进行去雾。此类做法忽略了左右视图的视点间信息，难以保证去雾前后立体图像的深度一致性，且去雾效果仍有待提升。因此，研究立体图像去雾方法，有效挖掘左右视图的视点间信息，从而恢复高质量的清晰立体图像，具有重要的研究意义和应用价值。
[0004]近年来，随着深度学习和计算机视觉技术的不断发展，越来越多的研究者开始探索基于深度学习的立体图像去雾方法。Song等人提出了立体匹配和去雾同步网络SSMDN，该网络通过联合利用立体匹配模型和图像去雾模型，提高了重建图像的质量。Pang等人提出了立体细化去雾网络SRDNet，该网络以由粗糙到精细的方式实现立体图像去雾。然而，现有的立体图像去雾方法仅从左右视图匹配的区域中提取一致性信息，忽略了非匹配区域的相关性信息。此外，场景中距离相机越远的区域，在图像采集过程中往往受雾的影响越大，而场景深度与雾密度间的关系仍未被有效探索。因此，挖掘立体图像中的全局视点间相关性，探索场景深度与雾密度间的内在联系，有助于重建高质量的清晰立体图像。

技术实现思路

[0005]现有的立体图像去雾方法仅从左右视图匹配的区域中提取一致性信息以辅助去雾，忽略了非匹配区域的相关性信息。此外，场景中距离相机越远的区域，在图像采集过程中往往受雾的影响越大，而场景深度与雾密度间的关系仍未被有效探索。为了解决上述问题，本专利技术提供了一种智能立体图像去雾方法，本专利技术利用多头注意力机制Transformer的全局建模能力，挖掘立体图像中的全局相关性信息，并利用视差关系引导网络对雾密度进行感知，详见下文描述：
[0006]一种智能立体图像去雾方法，所述方法包括：
[0007]对于输入的有雾左右视图，构建特征提取模块分别提取有雾左右视图的特征；
[0008]构建视差引导的雾感知机制，计算左右视图间的视差，引导网络感知场景中不同区域雾的分布；
[0009]构建跨视图全局交互模块，通过提取视图间的全局相关性信息以增强特征；
[0010]对特征提取模块、视差引导的雾感知机制和跨视图全局交互模块进行训练，训练过程中使用绝对误差损失函数和感知损失函数对网络的输出结果进行约束；
[0011]输入有雾立体图像，挖掘视图间的全局相关性信息，利用视差关系引导网络对雾密度进行感知，输出清晰地立体图像。
[0012]其中，所述雾感知机制为：利用视差估计模型计算左视差图p
l
和右视差图p
r
，公式表达如下：
[0013]p
l
，p
r
＝M
p
(I
l
，I
r
)
[0014]其中，M
p
表示视差估计模型；
[0015]基于视差图p
l
和p
r
生成雾感知嵌入向量e
l
和e
r
，并将e
l
和e
r
与有雾左右视图的特征f
l
和f
r
进行融合；通过特征注意力实现雾感知嵌入向量e
l
，e
r
与有雾左右视图的特征f
l
，f
r
的自适应融合，公式表达如下：
[0016]e
l
＝Conv
l
(p
l
)
[0017]e
r
＝Conv
r
(p
r
)
[0018]a
l
，b
l
＝Split(Softmax(MLP(GAP(e
l
+f
l
))))
[0019]a
r
，b
r
＝Split(Softmax(MLP(GAP(e
r
+f
r
))))
[0020]f
lh
＝a
l
e
l
+b
l
f
l
+f
l
[0021][0022]其中，Conv
l
(
·
)和Conv
r
(
·
)分别表示用于生成e
l
和e
r
的卷积层，a
l
、a
r
、b
l
和b
r
表示特征融合权重，GAP(
·
)表示全局平均池化操作，MLP(
·
)表示多层感知机，Softmax(
·
)表示softmax激活函数，Split(
·
)表示权重拆分操作，f
lh
和分别表示左右视图的雾密度感知特征。
[0023]其中，所述跨视图全局交互模块包括：互注意力单元、自注意力单元和多层感知机，首先获取向量q
l
、k
r
和v
r
，如下：
[0024]ql＝Conv
q
(f
lh
)
[0025][0026][0027]其中，Conv
q
、Conv
k
和Conv
v
分别代表用于获取q
l
、k
r
和v
r
的卷积层，f
lh
和为基于左右视图的雾密度感知特征；
[0028]采用互注意力单元交互左右视图特征，表达如下：
[0029][0030][0031]其中，表示矩阵相乘，T表示矩阵的转置操作，B表示可学习的相对位置编码，M表示全局相关性矩阵，f
lc
表示互注意力单元的输出；
[0032]将左视图特征f
lh
送入自注意力单元中，提取视图内信息进行特征增强，得到自注意力单元的输出f
ls
，表达如下：
[0033][0034]其中，SelfAttn
l
(...

【技术保护点】

【技术特征摘要】
1.一种智能立体图像去雾方法，其特征在于，所述方法包括：对于输入的有雾左右视图，构建特征提取模块分别提取有雾左右视图的特征；构建视差引导的雾感知机制，计算左右视图间的视差，引导网络感知场景中不同区域雾的分布；构建跨视图全局交互模块，通过提取视图间的全局相关性信息以增强特征；对特征提取模块、视差引导的雾感知机制和跨视图全局交互模块进行训练，训练过程中使用绝对误差损失函数和感知损失函数对网络的输出结果进行约束；输入有雾立体图像，挖掘视图间的全局相关性信息，利用视差关系引导网络对雾密度进行感知，输出清晰地立体图像。2.根据权利要求1所述的一种智能立体图像去雾方法，其特征在于，所述雾感知机制为：利用视差估计模型计算左视差图p
l
和右视差图p
r
，公式表达如下：p
l
，p
r
＝M
p
(I
l
，I
r
)其中，M
p
表示视差估计模型；基于视差图p
l
和p
r
生成雾感知嵌入向量e
l
和e
r
，并将e
l
和e
r
与有雾左右视图的特征f
l
和f
r
进行融合；通过特征注意力实现雾感知嵌入向量e
l
，e
r
与有雾左右视图的特征f
l
，f
r
的自适应融合，公式表达如下：e
l
＝Conv
l
(p
l
)e
r
＝Conv
r
(p
r
)a
l
，b
l
＝Split(Softmax(MLP(GAP(e
l
+f
l
))))a
r
，b
r
＝Split(Softmax(MLP(GAP(e
r
+f
r
))))f
lh
＝a
l
e
l
+b
l
f
l
+f
l
其中，Conv
l
(
·
)和Conv
r
(
·
)分别表示用于生成e
l
和e
r
的卷积层，a
l
、a
r
、b
l
和b
r
表示特征融合权重，GAP(
·
)表示全局平均池化操作，MLP(
·
)表示多层感知机，Softmax(
·
)表示softmax激活函数，Split(
·
)表示权重拆分操作，f
lh
和分别表示左右视图的雾密度感知特征。3....

【专利技术属性】
技术研发人员：彭勃，赵天乐，雷建军，张哲，
申请(专利权)人：天津大学，
类型：发明
国别省市：