一种基于双路卷积神经网络的自适应融合图像去雾方法技术

本发明专利技术公开了一种基于双路卷积神经网络的自适应融合图像去雾方法。首先，利用双路的卷积神经网络分别对输入的有雾图像进行特征提取，其中，图像复原子网络中的注意力残差模块负责图像的初步复原，细节增强子网络中的细节增强模块负责构建图像的细节信息；其次，利用自适应融合模块，将两个子网络中所提取到的特征进行自适应融合，得到更加精细的特征结果；最后，引入多内容损失函数对模型进行优化，其中，像素级损失函数缩小了图像内容差异，特征级损失函数提升了复原图像的视觉效果。本发明专利技术可用于在恶劣雾霾天气下进行的目标识别、及自动驾驶等任务。自动驾驶等任务。自动驾驶等任务。

【技术实现步骤摘要】
一种基于双路卷积神经网络的自适应融合图像去雾方法


[0001]本专利技术涉及计算机视觉，图像去雾领域，具体涉及基于双路卷积神经网络的自适应融合图像去雾方法，对设计的模型进行有监督学习，实现图像去雾。

技术介绍

[0002]雾，是一种常见的大气现象。由于空气中悬浮的水滴、灰尘或其他颗粒物的散射作用，雾天获取的图像往往存在对比度下降、色彩失真及细节丢失等退化问题，进而影响后续目标识别、检测等系列任务的进行。
[0003]现有的主流图像去雾算法分为两种：基于模型先验去雾算法和基于卷积神经网络的去雾算法。前者利用各种先验知识来估计透射率和大气传输矩阵，然后基于大气散射模型进行图像去雾。后者通过学习的方式来估计大气散射模型参数，或者直接端到端的恢复出无雾的清晰图像。尽管上述的去雾算法取得了不错的效果。但仍存在以下问题：(1)不准确的参数估计将导致去雾效果不佳；(2)恢复后的去雾图像存在细节信息丢失的问题。
[0004]因此，如何对图像进行有效的去雾并且提升恢复图像的细节信息成为了该领域人员研究的热点与重点。

技术实现思路

[0005]针对以上问题，本专利技术提出了一种基于双路卷积神经网络的自适应融合图像去雾方法，整体去雾模型包含有两个子网络：图像复原子网络和细节增强子网络。前者通过注意力残差模块提取图像特征进行图像初步复原，后者通过细节增强模块构建图像的细节信息，最后再通过一个自适应融合模块得到最终的去雾图像。该方法采用了一个端到端的训练方式，利用优化后的损失函数对模型进行参数的迭代更新，有效的解决了当前现有算法中普遍存在的去雾效果不佳、细节丢失严重等问题，为后续的目标识别、自动驾驶等高级计算机视觉任务提供了清晰的无雾图像作为输入。
[0006]本专利技术所采用的技术方案是，一种基于双路卷积神经网络的自适应融合图像去雾方法，具体按照以下步骤实施：
[0007]步骤1：双路卷积神经网络去雾模型的构建，模型包含有两个子网络：图像复原子网络和细节增强子网络，其中包括特征注意力残差模块、细节增强模块及自适应融合模块；
[0008]步骤2：利用大气散射模型构造出成对的有雾图像及无雾图像数据集，通过双路卷积神经网络分别对输入的有雾图像进行特征提取，获取得到具有不同信息的特征图；
[0009]步骤3：利用自适应融合模块将来自不同子网络的特征图进行自适应融合，转换得到融合后的特征结果；
[0010]步骤4：将融合特征图进行空间降维处理，输出得到原始RGB空间的去雾图像。最后，利用优化后的损失函数计算去雾图像与无雾图像的损失差异，反向传播更新模型参数，重复迭代得到最后的训练好的模型结果。
[0011]本专利技术的特点还在于：
[0012]步骤1具体实施过程如下：特征注意力残差模块在提取图像特征时引入了特征注意力机制，该操作能够得到一个具有通道和像素响应的权值图，引导网络关注更重要的特征而不是无效的特征。细节增强模块中利用不同膨胀系数的膨胀卷积对输入图像进行特征提取，扩大网络感受野的同时，对图像的细节进行更加精细的提取。
[0013]步骤2的具体实施过程如下：构建用于模型训练的数据集，基于大气散射模型，仿真生成匹配对应的有雾和无雾数据集，用于训练的数据集包括室内和室外两种。将仿真的有雾图像作为模型的输入，分别通过两个子网络的进行不同层次的特征提取，获取得到包含不同信息的特征图。其中，复原子网络和细节增强子网络各自分别包含5个连续的特征注意残差提取模块和细节增强模块进行特征提取，此外，还包含2个3
×
3大小的卷积层进行特征映射提取。
[0014]步骤3中的具体实施过程如下：首先将来自不同子网络的特征图进行逐像素相加得到初步的融合结果；其次将融合结果通过2个卷积核大小为3
×
3的卷积层得到不同的特征权重图；最后将来自不同子网络的特征图与得到的对应权重图进行线性组合叠加，得到最后自适应融合的结果。
[0015]步骤4中的具体实施过程如下：将自适应融合后的特征图进行空间降维处理，利用一个卷积核大小为3
×
3的卷积层，将输入的高维特征图返回到原始的RGB(红绿蓝三原色)空间中，然后在通过一个Tanh(非线性激活层)得到去雾的图像，同时，为了加快模型的收敛速度，在输入与输出之间添加一个全局跨层连接，有效避免了梯度消失爆炸等问题。最后，利用优化后的多内容损失函数计算去雾图像与无雾图像的损失差异，反向传播更新模型参数，重复迭代得到最后的训练好的模型结果。
[0016]本专利技术与现有去雾算法相比具有如下有益效果：
[0017](1)本专利技术提供了一种基于双路卷积神经网络的自适应融合图像去雾方法，图像复原子网络利用特征注意力残差模块进行特征提取，有效的提升了图像的去雾效果。
[0018](2)本专利技术提供了一种基于双路卷积神经网络的自适应融合图像去雾方法，细节增强子网络利用了细节增强模块，丰富了去雾图像的细节信息。
[0019](3)本专利技术提供了一种基于双路卷积神经网络的自适应融合图像去雾方法，模型末端利用了自适应融合模块，融合来自不同子网络的图像特征，提升了算法的整体去雾效果。
[0020](4)本专利技术提供了一种基于双路卷积神经网络的自适应融合图像去雾方法，对网络的损失函数进行了优化，引入多内容损失函数，包括像素级损失与特征级损失。其中，像素级损失用于缩小去雾图像与清晰图像的之间的像素差异；特征级损失进一步提升去雾的视觉效果。
附图说明
[0021]图1为本专利技术提出的双路卷积神经网络自适应融合网络结构示意图；
[0022]图2为本专利技术所提出的特征注意力结构示意图；
[0023]图3为本专利技术所提出的特征注意力残差模块结构示意图；
[0024]图4为本专利技术所提出的细节增强模块结构示意图；
[0025]图5为本专利技术所提出的自适应融合模块结构示意图；
[0026]图6为本专利技术实施例中的去雾效果示意图；
具体实施方式
[0027]下面结合附图和具体实施例对本专利技术进行详细说明。应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的，附图所展示的结构是实际结构的一部分。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0028]本专利技术提出了一种基于双路卷积神经网络的自适应融合图像去雾方法，整体去雾模型包含有两个子网络：图像复原子网络和细节增强子网络。前者通过残差模块提取图像特征进行图像初步复原，后者通过细节增强模块构建图像的细节信息，最后再通过一个自适应融合模块得到最终的去雾图像。与常规方法相比，该方法采用了一个端到端的训练方式，并且利用优化后的损失函数对模型进行参数的迭代更新，有效的解决了当前算法中普遍存在的去雾效果不佳、细节丢失严重等问题，为后续的目标识别、自动驾驶等高级计算机视觉任务提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双路卷积神经网络的自适应融合图像去雾方法，其特征在于：包括如下步骤：步骤1：双路卷积神经网络去雾模型的构建，模型包含有两个子网络：图像复原子网络和细节增强子网络，其中包括特征注意力残差模块、细节增强模块及自适应融合模块；步骤2：利用大气散射模型构造出成对的有雾图像及无雾图像数据集，通过双路卷积神经网络分别对输入的有雾图像进行特征提取，获取得到具有不同信息的特征图；步骤3：利用自适应融合模块将来自不同子网络的特征图进行自适应融合，转换得到融合后的特征结果；步骤4：将融合特征图进行空间降维处理，输出得到原始RGB空间的去雾图像。最后，利用优化后的损失函数计算去雾图像与无雾图像的损失差异，反向传播更新模型参数，重复迭代得到最后的训练好的模型结果。2.如权利要求1所述的一种基于双路卷积神经网络的自适应融合图像去雾方法，其特征在于，使用双路卷积神经网络对有雾图像进行去雾处理，图像复原子网络负责初步去雾，细节增强子网络...

【专利技术属性】
技术研发人员：董立泉，易伟超，刘明，李世添，惠梅，赵跃进，孔令琴，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：