基于多尺度密集特征融合卷积网络的管道视频去雾方法技术

本发明专利技术涉及的是一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，其中，方法包括：在实验管道模型里用双目相机采集管道清晰图像和深度图像，利用大气散射模型生成管道带雾图像，构建管道带雾/清晰图像对，并划分训练数据集和测试数据集；基于U

【技术实现步骤摘要】
基于多尺度密集特征融合卷积网络的管道视频去雾方法


[0001]本专利技术涉及深度学习、图像处理
，尤其涉及一种基于多尺度密集特征融合卷积网络的管道视频去雾方法。

技术介绍

[0002]在城市管道环境中，管道病害检测机器人获取的管道内部图像对于管道病害的识别起到重要的作用，但是由于管道环境复杂，内部环境存在阴暗、反光、水雾等各种不良条件，导致采集到的管道图像出现对比度小，细节模糊等退化现象，影响到管道检测机器人视觉系统的正常工作。因此，对采集的图像进行去雾复原工作对于管道安全有着极其重要的意义。
[0003]将一个带雾图像恢复为无雾图像，数据驱动的深度学习方法已经被证明是有效的。目前的去雾方法大多数是针对室外场景有雾图像，针对管道环境有雾图像的算法很少。早期的方法首先使用深度卷积神经网络(CNNs)来估计透射图，然后应用传统方法来估计大气光。但是，由于大气反射系数的不确定和获得真实透射图数据的困难，使得从带雾输入中估计透射图或大气光不是一项简单的任务。此外，对透射图或大气光的不准确估计会严重干扰清晰图像的恢复，因为对透射图和大气光的某些估计偏差会导致恢复图像和清晰图像之间较大的重建误差。为了解决这个问题，一些直接端到端去雾算法直接或迭代深层CNNs估计无雾图像，不需要再估计透射图和大气光。然而，城市地下管道为无光或弱光环境，且阴暗潮湿，水雾严重，使得采集的视频图像细节模糊，这些方法主要采用通用网络体系结构(例如，DenseNet、Dilated Network、GAN)，并没有针对管道视频去雾后细节信息缺失的问题进行优化，使得这些算法在地下管道场景下的去雾效果不佳。
[0004]本专利技术提出了一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，能有效实现地下管道视频图像的去雾，并对图像的细节方面进行增强，适用于排水管道检测机器人的视频监控、地下管道病害智能检测识别等科学领域。

技术实现思路

[0005]本专利技术针对现有技术中的上述问题，提出了一种基于多尺度密集特征融合卷积网络的管道视频去雾方法。该方法巧妙地结合了增强策略和误差反馈机制，利用基于SOS图像细节增强策略的增强解码器简单有效的逐步恢复无雾图像，利用基于反投影反馈方案设计的密集特征融合模块保留高分辨率特征中缺失的空间信息并提取和融合非相邻特征，适用于基于管道数据的视频去雾。该方法可以有效的提高带雾管道视频的清晰度，对管道视频图像的细节进行增强，有助于管道视频后期高级视觉任务的开展，适用于管道环境的视频监控、管道病害识别等科学领域，可以应用在城市管道检修维护工作中。
[0006]本专利技术所采用的技术方案如下：
[0007]步骤(1)、在实验管道模型里用双目相机采集管道清晰图像和深度图像，利用大气散射模型生成管道带雾图像，构建管道带雾/清晰图像对，并划分训练数据集和测试数据
集；
[0008]步骤(2)、基于U
‑
net架构，引入SOS图像细节增强策略和密集特征融合模块，构建基于多尺度密集特征融合卷积网络的去雾方法；
[0009]步骤(3)、将步骤(1)中构建的训练数据集送入步骤(2)中构建的基于多尺度密集特征融合的增强去雾网络，以训练神经网络模型，使用Adam优化算法更新神经网络权重；
[0010]步骤(4)、使用步骤(1)中构建的测试数据集测试训练好的去雾网络模型，实现管道视频的去雾，并对去雾效果进行客观评价。
[0011]本专利技术的有益效果是，相比一些基于通用网络体系结构的去雾方法，本专利技术提出一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，很好的针对去雾图像恢复问题进行优化，结合SOS增强策略的解码器提高了去雾性能，基于反投影技术的密集特征融合模块弥补了高分辨率特征缺失的空间信息并利用非相邻层次的特征，有效实现管道场景视频的去雾，并对图像的细节恢复方面进行增强，提高了带雾管道视频的清晰度，去雾后的管道视频色彩真实、细节丰富。
附图说明
[0012]下面结合附图和实施例对本专利技术进一步说明：
[0013]图1为根据本专利技术一个实施例的基于多尺度密集特征融合卷积网络的管道视频去雾方法的流程图；
[0014]图2为根据本专利技术一个实施例的整体网络结构图，该图中，增强模块基于SOS增强策略，残差组由3个残差块组成，密集特征融合模块基于反投影技术；
[0015]图3为根据本专利技术一个实施例的密集特征融合模块；
[0016]图4为根据本专利技术一个实施例的SOS增强模块；
[0017]图5为根据本专利技术一个实施例的管道去雾效果对比图；
[0018]图6为根据本专利技术一个实施例的去雾效果客观评价图。
具体实施方式
[0019]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明，以下实施例不构成对本专利技术的限定。参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0020]图1为根据本专利技术一个实施例的基于多尺度密集特征融合卷积网络的管道视频去雾方法的流程图；如图1所示，该基于多尺度密集特征融合卷积网络的管道视频去雾方法包括以下步骤：
[0021]S1010：通过双目相机得到实验管道图像数据，利用采集得到的管道清晰图像和管道深度图生成带雾图像，构建管道带雾/清晰图像对作为管道数据集，并把管道数据集划分为训练集和测试集。
[0022]通常在其他环境条件保持相同的情况下，捕获相同视觉场景的带雾和清晰图像对是十分困难的，因此，利用采集得到的管道清晰图像和深度图通过大气散射模型生成带雾图像。大气散射模型是带雾图像生成的经典描述，它认为带雾图像是由被雾削弱的物体反射的光线和被雾反射的大气光进入摄像机共同组成的，其表达式为：
[0023]H(x)＝C(x)t(x)+A(1
‑
t(x))
ꢀꢀ
(1)
[0024]公式(1)中，参数x表示图像中像素点的位置，H(x)表示利用管道清晰图像和深度图生成的管道带雾图像，C(x)表示管道清晰图像，A表示全局大气光，通常情况下假设为全局常量，t(x)表示透射率，描述物体反射光线经过衰减能够到达观测点的比例，在公式(1)中，t(x)公式如下：
[0025]t(x)＝e
‑
βd(x)
ꢀꢀ
(2)
[0026]公式(2)中，β表示散射系数，用于描述介质对不同波长光的散射能力，d(x)表示物体和相机之间的距离。由公式(2)可知，反射光在传播的过程中，随着传输距离的增加光强逐渐衰减。
[0027]深度图像是指将图像采集器到场景中各点的距离作为像素值的图像，它直接反映了景物可见表面的几何形状。通过公式(1)和公式(2)，可以由管道清晰图像和深度图生成管道带雾图像，从而构建管道带雾/清晰图像对作为管道数据集，并把管道数据集划分为训练集和测试集。
[0028]S1020：基于U
‑
net架构，引入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，其特征在于，包括以下步骤：步骤(1)、在实验管道模型里用双目相机采集管道清晰图像和深度图像，利用大气散射模型生成管道带雾图像。大气散射模型是带雾图像生成的经典描述，它认为带雾图像是由被雾削弱的物体反射的光线和被雾反射的大气光进入摄像机共同组成的，其表达式为：H(x)＝C(x)t(x)+A(1
‑
t(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)公式(1)中，参数x表示图像中像素点的位置，H(x)表示利用管道清晰图像和深度图生成的管道带雾图像，C(x)表示管道清晰图像，A表示全局大气光，通常情况下假设为全局常量，t(x)表示透射率，描述物体反射光线经过衰减能够到达观测点的比例，在公式(1)中，t(x)公式如下：t(x)＝e
‑
βd(x)
ꢀꢀꢀꢀ
(2)公式(2)中，β表示散射系数，d(x)表示物体和相机之间的距离。深度图像是指将图像采集器到场景中各点的距离作为像素值的图像，因此，通过公式(1)和公式(2)，可以由管道清晰图像和深度图生成管道带雾图像，从而构建管道带雾/清晰图像对作为管道数据集，并把管道数据集划分为训练集和测试集；步骤(2)、基于U
‑
net架构，引入SOS图像细节增强策略和密集特征融合模块，构建基于多尺度密集特征融合卷积网络的去雾方法；基于多尺度密集特征融合的去雾网络包含三个组件，一个编码器模块，一个特征恢复模块，一个增强的解码器模块。整体网络结构基于U
‑
net架构，在解码器中结合了SOS增强策略，在编码器和解码器中各引入了一个密集特征融合模块，一个在编码器的残差组之前，另一个在解码器的SOS增强模块之后；解码器第n层级的DFF模块由公式(3)定义：公式(3)中，j
n
表示解码器第n层级的增强特征(即SOS增强模块的输出)，表示通过特征融合的融合特征(即第n层级DFF模块的输出)，L表示网络层级数，而表示解码器中前面所有(L
‑
n)层级DFF模块输出的融合特征。关于每次用一个融合特征增强j
n
特征的更新过程如下所示：计算在第t次迭代，和的差异如公式(4)所示：公式(4)中，表示投影算子，该算子将增强特征下采样到和相同的维度；再用反投影差异更新如公式(5)所示：公式(5)中，表示反投影算子，该算子将第t次迭代的差异上采样到和相同维度；迭代完前面的所有融合特征得到现在最终的融合特征该过程中的和采用卷积/反卷积层学习相应的下采样/上采样操作。为了避免引入太多参数，我们堆叠(L
‑
n
‑
t)个步长为2的卷积/反卷积层去实现的下采样/上采样操作。相应的，编码器第n层级的DFF模块可由公式(6)定义：
公式(6)中，i
n
是编码器第n层级的潜在特征，表示编码器中前面所有(n
‑
1)层级DFF模块输出的融合特征，与解码器第(L
‑
n)层级的具有相同的体系结构，只是需要互换其中下采样操作和上采样操作的位置。在去雾的U
‑
Net网络中，将解码器解释为无雾图像恢复模块，为了逐步完善特征恢复模块中的特征j5，在网络的解码器中加入了SOS增强策略。在第n层级的SOS增强模块中，首先对上一层级得到的特征图i
n+1
进行上采样，用同一层级对应的编码器得到的特征图i
n
进行相加来增强...

【专利技术属性】
技术研发人员：李策，乔静怡，姜中博，唐峥岩，黄瑛洁，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：