【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于注意力融合机制的自动驾驶传感器图像去雾模型。
技术介绍
1、自动驾驶汽车需要通过摄像头获取周围道路和环境信息。然而，在雾霾天气下，所采集的图像质量明显下降，出现模糊、对比度低、颜色失真等现象，从而导致图像信息丢失，降低了车辆的视觉感知能力。通过图像去雾技术，能够减少雾霾在采集的道路场景图像中的干扰，增强图像的清晰度和颜色饱和度，进而提高汽车系统对场景的识别能力，从而增强安全性。随着自动驾驶系统的发展和雾霾天气的频发，对图像去雾技术的研究变得愈发迫切。
2、图像去雾技术旨在尽可能地从输入图像中去除雾霾，以获得高质量的去雾图像。目前图像去雾方法大致分为两大类：基于先验的去雾方法和基于学习的去雾方法。
3、基于先验的去雾方法利用从清晰图像中获取的先验信息对大气光和透射图进行估计，然后借助大气散射模型恢复出去雾图像。这种方法提高了雾霾图像的整体可见性，增强了图像的视觉质量，然而，先验知识是基于特定的假设或场景统计得到的，如果实际场景与先验不符，就会导致模型估计不准确而降低去雾性能。
4、近年来，随着深度学习技术的快速发展，人们提出了大量基于学习的去雾方法，主要分为两种：一种是利用卷积神经网络等预测模型参数，然后利用这些参数和大气散射模型恢复出无雾图像；另一种则是不依赖大气散射模型，直接得到有雾图像到清晰图像的映射。基于学习的方法有效地解决了基于先验的方法对手工制作先验的依赖和对特定场景的限制问题，获得了比传统基于先验的方法更好的性能，但仍然存在一些具有挑战性的问
技术实现思路
1、本专利技术的目的在于，提出一种基于注意力融合机制的自动驾驶传感器图像去雾模型，以在去除雾霾的基础上很好地恢复图像的细节信息，解决由于雾霾分布不均匀导致的雾霾残留和网格化伪影等问题。
2、为实现上述目的，本申请提出的一种基于注意力融合机制的自动驾驶传感器图像去雾模型，包括：
3、雾霾去除子网络，包括两个残差密集块rdb和双流注意力引导模块，所述两个残差密集块rdb捕捉和保留雾霾图像中的细节信息；所述双流注意力引导模块进行雾霾场景的处理，得到去雾特征；
4、特征校正模块，根据雾霾图像特征和去雾特征得到校正后的特征；
5、细节恢复子网络，基于校正特征得到不同雾霾浓度区域的细节恢复特征；
6、跨阶段特征融合模块，将去雾图像特征和细节恢复特征进行融合，得到最终的去雾图像。
7、进一步地，每个残差密集块rdb中，通过3×3卷积和relu激活函数进行多次特征提取，并将每个层都与之前所有层进行连接，通过深度可分离卷积和点卷积进行特征整合和通道数的修改，捕捉和保留雾霾图像中的各种细节信息。
8、进一步地，在双流注意力引导模块中，首先将残差密集块rdb输出的特征经过一个3×3卷积、batchnorm层和relu激活函数得到预处理特征fo；然后将预处理特征fo输入到定义的并行通道注意力分支和空间注意力分支，得到通道注意力权重wc和空间注意力权重ws；再将通道注意力权重wc和空间注意力权重ws分别与预处理特征相乘，获取加权特征并进行通道维度的拼接融合；最后将融合后的特征输入到1×1卷积中，消除通道维度的差异。
9、进一步地，特征校正模块内具体实现方式为：将雾霾图像经过3×3卷积、relu激活函数、另一个3×3卷积和sigmoid激活函数处理得到注意力权重wh；同时将去雾特征经过两组3×3卷积和relu激活函数处理后与注意力权重wh相乘得到加权特征，利用雾霾图像信息对去雾特征进行调整，将调整后的加权特征与去雾特征逐元素相加获取校正特征。
10、进一步地，所述细节恢复子网络内具体实现方式为：输入该模块的特征经过一个3×3卷积、batchnorm层和relu激活函数得到预处理特征，然后将预处理特征输入到两个多尺度扩张卷积层中，利用多尺度扩张卷积分别提取不同尺度的特征和结构信息，进行初始细节修复，然后通过1×1卷积和relu激活函数恢复通道数以得到初始细节恢复特征；接着将初始细节恢复特征输入到定义的像素注意力力机制中，对每个像素区域进行动态调整，恢复不同雾霾浓度区域的细节信息；最后通过3×3卷积、relu激活函数并与输入该模块的进行元素加法合并得到细节恢复特征。
11、更进一步地，每个多尺度扩张卷积层由扩张率分别为1,3,5的三个扩张卷积并行聚合而成。
12、更进一步地，跨阶段特征融合模块内具体实现方式为：第一阶段的去雾特征和第二阶段对应级别的细节恢复特征分别经过batchnorm层和密集连接层后进行相乘获得一个共享注意力图wa；再将wa分别与去雾特征和细节恢复特征相乘得到对应的加权特征并进行通道维度的拼接融合，利用自注意力同时关注去雾特征和细节恢复特征；将融合后的特征经过1×1卷积和relu激活函数消除通道维度的差异。
13、更进一步地，还包括损失函数设计，该模型的损失函数ltotal定义为：
14、ltotal＝lsmoothl1+αlper
15、其中，lsmoothl1为平滑l1损失，lper感知损失，α是平衡ltotal的超参数。
16、作为更进一步地，平滑l1损失定义为：
17、
18、
19、其中，idehaze表示最终的去雾图像，igt表示清晰图像，n表示总像素数。
20、作为更进一步地，感知损失lper定义为：
21、
22、其中，idehaze表示最终的去雾图像，igt表示清晰图像，n表示总像素数，φj(·)表示从预训练的vgg-16网络中的第j层提取的特征，j＝3,5,8。
23、本专利技术采用的以上技术方案，与现有技术相比，具有的优点是：
24、1.为了有效地处理雾霾分布不均匀的图像，在雾霾去除子网络中提出了一个双流注意力引导模块，以解决由于雾霾分布不均匀导致的雾霾残留和网格化伪影等问题，并阻止不必要的信息向前传播，保留图像的细节和纹理特征。
25、2.细节恢复子网络，利用聚合多尺度扩张卷积来提取上下文信息和像素注意力机制来进行局部细节调整，以恢复去雾过程中导致的图像纹理细节和颜色的损失。
26、3.为了防止去雾过程中丢失的部分信息对细节恢复任务造成影响，提出一个特征校正模块和一个跨阶段特征融合模块；其中，特征校正模块利用雾霾图像信息丰富的特点对去雾特征进行引导调整和特征增强；跨阶段特征融合模块对去雾特征和细节恢复特征进行注意力融合，以平衡去雾和细节恢复任务。
本文档来自技高网...【技术保护点】
1.一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，包括：
2.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，每个残差密集块RDB中，通过3×3卷积和ReLU激活函数进行多次特征提取，并将每个层都与之前所有层进行连接，通过深度可分离卷积和点卷积进行特征整合和通道数的修改，捕捉和保留雾霾图像中的各种细节信息。
3.根据权利要求2所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，在双流注意力引导模块中，首先将残差密集块RDB输出的特征经过一个3×3卷积、BatchNorm层和ReLU激活函数得到预处理特征Fo；然后将预处理特征Fo输入定义的并行通道注意力分支和空间注意力分支，得到通道注意力权重Wc和空间注意力权重Ws；再将通道注意力权重Ws和空间注意力权重Ws分别与预处理特征相乘，获取加权特征并进行通道维度的拼接融合；最后将融合后的特征输入到1×1卷积中，消除通道维度的差异。
4.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，特征校正模块内具体
5.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，所述细节恢复子网络内具体实现方式为：输入该模块的特征经过一个3×3卷积、BatchNorm层和ReLU激活函数得到预处理特征，然后将预处理特征输入到两个多尺度扩张卷积层中，利用多尺度扩张卷积分别提取不同尺度的特征和结构信息，进行初始细节修复，然后通过1×1卷积和ReLU激活函数恢复通道数以得到初始细节恢复特征；接着将初始细节恢复特征输入到定义的像素注意力力机制中，对每个像素区域进行动态调整，恢复不同雾霾浓度区域的细节信息；最后通过3×3卷积、ReLU激活函数并与输入该模块的进行元素加法合并得到细节恢复特征。
6.根据权利要求5所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，每个多尺度扩张卷积层由扩张率分别为1,3,5的三个扩张卷积并行聚合而成。
7.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，跨阶段特征融合模块内具体实现方式为：第一阶段的去雾特征和第二阶段对应级别的细节恢复特征分别经过BatchNOrm层和密集连接层后进行相乘获得一个共享注意力图Wa；再将Wa分别与去雾特征和细节恢复特征相乘得到对应的加权特征并进行通道维度的拼接融合，利用自注意力同时关注去雾特征和细节恢复特征；将融合后的特征经过1×1卷积和ReLU激活函数消除通道维度的差异。
8.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，还包括损失函数设计，该模型的损失函数Ltotal定义为：
9.根据权利要求8所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，平滑L1损失定义为：
10.根据权利要求8所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，感知损失Lper定义为：
...【技术特征摘要】
1.一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，包括：
2.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，每个残差密集块rdb中，通过3×3卷积和relu激活函数进行多次特征提取，并将每个层都与之前所有层进行连接，通过深度可分离卷积和点卷积进行特征整合和通道数的修改，捕捉和保留雾霾图像中的各种细节信息。
3.根据权利要求2所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，在双流注意力引导模块中，首先将残差密集块rdb输出的特征经过一个3×3卷积、batchnorm层和relu激活函数得到预处理特征fo；然后将预处理特征fo输入定义的并行通道注意力分支和空间注意力分支，得到通道注意力权重wc和空间注意力权重ws；再将通道注意力权重ws和空间注意力权重ws分别与预处理特征相乘，获取加权特征并进行通道维度的拼接融合；最后将融合后的特征输入到1×1卷积中，消除通道维度的差异。
4.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，特征校正模块内具体实现方式为：将雾霾图像经过3×3卷积、relu激活函数、另一个3×3卷积和sigmoid激活函数处理得到注意力权重wh；同时将去雾特征经过两组3×3卷积和relu激活函数处理后与注意力权重wh相乘得到加权特征，利用雾霾图像信息对去雾特征进行调整，将调整后的加权特征与去雾特征逐元素相加获取校正特征。
5.根据权利要求1所述一种基于注意力融合机制的自动驾驶传感器图像去雾模型，其特征在于，所述细节恢复子网络内具体实现方式为：输入该模块的特征经过一个3×3卷积、ba...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。