【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种雨雾天行车目标检测方法、装置、电子设备及介质。
技术介绍
1、在自动驾驶行车场景下，基于深度学习的一阶和二阶视觉目标检测算法往往表现出了极佳的性能。但在雨天、雾霾等特殊天气条件下，由于从摄像头捕捉的图像质量发生了模糊退化，在传统数据集上训练出的检测算法难以提取到目标的有效特征，因而性能可能会大大下降。
2、针对特殊天气条件下的目标检测任务，一些学者采用图像复原与目标检测简单级联的方式，即先采用基于cnn(convolutional neural network，卷积神经网络)或transformer深度学习模型的图像增强算法对原始输入图像进行复原操作，然后在其输出结果的基础上进一步进行目标检测；此类方法涉及的两种算法先后单独进行训练，两者相互依赖程度低、gpu训练显存占用少，但由于在图像复原阶段的模型训练前需要准备大量配对的真实特殊天气退化图像与相应干净的真值图像，即实现像素级的对齐，该数据采集工作量很大，而且还需要对训练好的复原模型处理过的数据集进行2d框标注，以便进行后续的目标检测算法训练，整个流程执行起来相对比较繁琐；此外，两类任务之间很难获得一个很好的平衡，即基于现有评价指标的复原效果不一定能促进目标检测性能的提升。
技术实现思路
1、本申请实施例通过提供了一种雨雾天行车目标检测方法、装置、电子设备及介质，在目标检测前进行视觉增强处理，使得复原模型对输入图像处理后的效果是朝着有利于目标检测性能提升的方向进行，能为自动驾驶视觉检
2、第一方面，本专利技术通过本专利技术的一实施例提供如下技术方案：
3、一种雨雾天行车目标检测方法，包括：获取雨雾天气下的道路场景图像；将所述道路场景图像输入预设的网络复原模型中进行视觉增强处理，得到复原图像，所述网络复原模型用于基于预设的稠密残差连接网络，预测雨雾天气下的道路场景图像对应的噪声信息，将所述噪声信息与所述道路场景图像进行融合，得到对应的复原图像；基于预设的多目标检测模型，对所述复原图像进行行车目标位置和类型的识别，完成行车目标检测。
4、优选地，所述稠密残差连接网络包括：多个残差块、多个一类卷积算子以及多个二类卷积算子，网络开头部分包括一个一类卷积算子的输出连接一个残差块，每个残差块间隔设置，每两个残差块之间均连接有一个一类卷积算子，多个相连接的二类卷积算子作为稠密残差连接网络的输出；每个残差块之间还采用多重跳跃连接，且跳跃连接的特征图尺寸和每个残差块输出尺寸相同。
5、优选地，所述稠密残差连接网络包括：四个残差块、四个一类卷积算子以及两个二类卷积算子，网络开头部分包括一个一类卷积算子的输出连接一个残差块，每个残差块间隔设置，每两个残差块之间均连接有一个一类卷积算子，两个相连接的二类卷积算子作为稠密残差连接网络的输出；每个残差块之间还采用多重跳跃连接，且跳跃连接的特征图尺寸和每个残差块输出尺寸相同。
6、优选地，所述网络复原模型以及所述多目标检测模型是按照以下步骤训练得到的：获取训练数据集，所述训练数据集包括多个不同天气下的道路场景训练图像以及与每个道路场景训练图像对应的标注信息，基于所述训练数据集，对所述稠密残差连接网络以及初始多目标检测网络进行训练，得到所述网络复原模型以及所述多目标检测模型。
7、优选地，所述残差块包括：结构相同的网络前半部分和网络后半部分，所述网络前半部分包括第一空洞卷积块、第二空洞卷积块、第三空洞卷积块以及两个激活函数层；所述第一空洞卷积块与所述第二空洞卷积块连接，所述第二空洞卷积块的输出端与其中一个激活函数层的输入端连接，所述第一空洞卷积块的残差输出端与另一个激活函数层的输入端连接，所述第三空洞卷积块连接在所述两个激活函数层之间；网络前半部分的激活函数层的输出端与网络后半部分的空洞卷积块的输入端，以及网络后半部分的激活函数层的输入端连接，所述网络前半部分经过激活函数层之后的残差，传输到所述网络后半部分进行特征融合。
8、优选地，所述第三空洞卷积块还包括注意力模块，所述注意力模块用于学习不同通道以及不同特征区域的权重。
9、优选地，所述得到所述网络复原模型之后，还包括：获取验证数据集，所述验证数据集包括：多种天气下的道路场景验证图像以及与每个道路场景验证图像对应的标注信息；将所述道路场景验证图像输入所述网络复原模型，得到复原估计图像；根据所述标注信息、所述多目标检测模型在所述复原估计图像上的检测结果以及预设的损失函数，确定所述检测结果与所述标注信息之间的误差；基于所述误差对所述网络复原模型和所述多目标检测模型中的网络权值参数进行优化。
10、第二方面，本专利技术通过本专利技术的一实施例，提供如下技术方案：
11、一种雨雾天行车目标检测装置，包括：
12、图像获取模块，用于获取道路场景图像；
13、图像复原模块，用于将所述道路场景图像输入预设的网络复原模型中进行视觉增强处理，得到复原图像，所述网络复原模型用于基于预设的稠密残差连接网络，预测雨雾天气下的道路场景图像对应的噪声信息，将所述噪声信息与所述道路场景图像进行融合，得到对应的复原图像；
14、目标检测模块，用于基于预设的多目标检测模型，对所述复原图像进行行车目标位置和类型的识别，完成行车目标检测。
15、第三方面，本专利技术通过本专利技术的一实施例，提供如下技术方案：
16、一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述第一方面中任一项所述方法的步骤。
17、第四方面，本专利技术通过本专利技术的一实施例，提供如下技术方案：
18、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述第一方面中任一项所述方法的步骤。
19、本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
20、本专利技术实施例提供的雨雾天行车目标检测方法，先获取雨雾天气下的道路场景图像，将道路场景图像输入预设的网络复原模型中进行视觉增强处理，得到复原图像，将道路场景图像输入预设的网络复原模型中进行视觉增强处理，得到复原图像。本申请中的网络复原模型是基于稠密残差连接网络，对雨雾天气下的道路场景图像的噪声信息进行预测，可以实现预测不同天气带来的不同程度噪声信息，并与原始输入图像进行融合得到相对干净的复原图像，使得处理后的图像更有利于目标检测模块对行车目标的正确检出，该方法能够有效地保证在恶劣天气下的行车目标位置和类型的检测精度，从而为自动驾驶视觉检测算法适应不同天气条件的行车场景提供了较好的技术参考。
本文档来自技高网...【技术保护点】
1.一种雨雾天行车目标检测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述稠密残差连接网络包括：
3.如权利要求1所述的方法，其特征在于，所述稠密残差连接网络包括：四个残差块、四个一类卷积算子以及两个二类卷积算子，网络开头部分包括一个一类卷积算子的输出连接一个残差块，每个残差块间隔设置，每两个残差块之间均连接有一个一类卷积算子，两个相连接的二类卷积算子作为稠密残差连接网络的输出；每个残差块之间还采用多重跳跃连接，且跳跃连接的特征图尺寸和每个残差块输出尺寸相同。
4.如权利要求1所述的方法，其特征在于，所述网络复原模型以及所述多目标检测模型是按照以下步骤训练得到的：
5.如权利要求2所述的方法，其特征在于，所述残差块包括：结构相同的网络前半部分和网络后半部分，所述网络前半部分包括第一空洞卷积块、第二空洞卷积块、第三空洞卷积块以及两个激活函数层；
6.如权利要求5所述的方法，其特征在于，所述第三空洞卷积块还包括注意力模块，所述注意力模块用于学习不同通道以及不同特征区域的权重。
7.如权利要求
8.一种雨雾天行车目标检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种雨雾天行车目标检测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述稠密残差连接网络包括：
3.如权利要求1所述的方法，其特征在于，所述稠密残差连接网络包括：四个残差块、四个一类卷积算子以及两个二类卷积算子，网络开头部分包括一个一类卷积算子的输出连接一个残差块，每个残差块间隔设置，每两个残差块之间均连接有一个一类卷积算子，两个相连接的二类卷积算子作为稠密残差连接网络的输出；每个残差块之间还采用多重跳跃连接，且跳跃连接的特征图尺寸和每个残差块输出尺寸相同。
4.如权利要求1所述的方法，其特征在于，所述网络复原模型以及所述多目标检测模型是按照以下步骤训练得到的：
5.如权利要求2所述的方法，其特征在于，所述残差块包括：结构相同的网络前半部分...
【专利技术属性】
技术研发人员：占涛，刘程，杨颖，刘会凯，陈永昌，
申请(专利权)人：岚图汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。