【技术实现步骤摘要】
本专利技术属于智能网联汽车，具体涉及一种雨天车道线检测方法及系统。
技术介绍
1、智能网联汽车(intelligent and connected vehicle，icv)是一个融合环境感知、信息交互等关键系统于一体的高新技术综合体。环境感知系统作为icv的“眼睛”，承担着检测并识别周围物体语义类别、位置方向的重要任务。在环境感知系统的诸多子系统中，基于计算机视觉的车道线检测系统(lane detect system，lds)在天气晴朗的工况下性能稳定，但在雨天等恶劣条件下lds采集的图像存在雨纹遮挡、细节信息丢失等问题，而lds的检测精度受图像中车道线特征信息的影响。因此，其检测精度在雨纹遮挡车道线背景层时会发生衰退，严重威胁icv的行驶安全。
2、鉴于此，提升恶劣天气条件下lds的检测精度具有举足轻重的研究意义。目前针对该问题已有多位学者展开相关研究。xu等人针对车道线检测环境复杂，光照变化复杂等特点，运用可变形卷积神经网络提取特征，通过对白天、夜晚、雨天等复杂光照条件下的kitti道路数据集进行联合训练，提升复杂环境下车道线的检测精度。ye等人提供一种山区城市雨天自动驾驶车道线检测方法，将pinet网络改进成以残差结构为基础的车道线检测网络，设计了三种不同结构的残差单元，有效提高网络在雨天环境中的车道线检测精度。deng等人基于车道线特征的雨天图像预处理，通过道路图像的灰度图像获取道路图像的边缘图像，然后分析雨天环境地面有积水情况下车道线像素点的颜色特征确定车道线像素点的颜色特征约束条件，提高了雨天车道线的检测
3、现有的去雨算法分为以稀疏编码、字典学习为为的传统模型方法和以深度学习为为的数据驱动方法。在传统的去雨算法中，一种是使用双边滤波器将图像进行高低频分解，而后通过字典学习和稀疏编码将有雨图像还原。另一种基于高斯混合模型的区域先验的去雨方法，还有一种是将背景层与有雨层剥离，使用联合优化实现雨纹去除。上述方法多需要利用模型和先验知识，易导致去雨不彻底，背景图像变模糊。由于深度学习方法在特征提取等方面的优越性，近年来，基于深度学习的图像去雨逐渐成为研究热点，eigen等首次通过构建数据集训练三层神经网络用于图像恢复。ren等综合考虑网络函数，输入输出与损失函数，提出了渐进式递归网络。
4、现有多尺度渐进式融合网络是将不同尺度的特征信息精细融合，实现了雨纹的高效去除。cao等提出了一个两阶段图像去雨方法，利用物理模型和生成对抗网络来提取多尺度特征，提高图像恢复质量。zamir等采用编-解码器结构获取上下文特征，并利用监督注意力机制精准捕获雨纹特征，有效提高了图像恢复质量，但其采用了三个阶段，网络结构较为复杂。
技术实现思路
1、本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种雨天车道线检测方法及系统，用于解决目前使用模型存在去雨后的图像不够自然，部分背景细节丢失，网络不够简洁的技术问题，能够更好的复原有雨图像，提高lis在雨天条件下的车道线检测精度。
2、本专利技术采用以下技术方案：
3、一种雨天车道线检测方法，包括以下步骤：
4、s1、构建基于类沙漏结构的多阶段去雨网络；
5、s2、构建步骤s1得到的多阶段去雨网络的损失函数；
6、s3、向步骤s2得到的多阶段去雨网络中输入雨天交通场景图像，通过小尺度精细化雨纹特征提取和大尺度条件下背景层精细化恢复后输出去雨图像；将去雨图像输入车道线检测模型lanenet中，输出得到车道线检测结果，实现雨天车道线检测。
7、具体的，步骤s1中，基于类沙漏结构的多阶段去雨网络包含轻量级高效雨纹特征提取模块和雨纹特征融合模块，轻量级高效雨纹特征提取模块用于提取不同层次的雨纹特征，雨纹特征融合模块用于将不同阶段的雨纹信息融合。
8、进一步的，多阶段去雨网络的编码器-解码器架构构建如下：
9、s1011、当s＝1，图像进入3×3常规卷积层，将输出的特征图进行升维运算；将原始有雨图像输入经卷积操作后获得初步提取特征图像；
10、s1012、经过卷积操作后的特征图像，经过轻量级高级雨纹特征提取模块提取多尺度特征图；
11、s1013、通过memsnet调制后的跳跃连接辅助解码器中的重构；
12、s1014、将原始有雨图像输入经卷积操作后的残差图像中，以获取初步的去雨图像；
13、s1015、当s＝2，重复以上步骤。
14、更进一步的，步骤s1011中，初步提取特征图像具体为：
15、
16、其中，q∈{1,2,3,4}，f3×3(·)表示3×3常规卷积层，代表原始输入图像。
17、更进一步的，步骤s1012中，不同尺度下雨纹特征提取具体为：
18、
19、
20、
21、其中，enp(·)为编码运算，dep(·)为解码运算，cat[·,·]为拼接运算，为编码运算后的特征图，为拼接处理后的特征图，为解码运算后的特征图。
22、更进一步的，步骤s1013中，降维运算具体为：
23、
24、其中，为由编解码器输出并输入3×3卷积的特征图，为3×3卷积操作后的特征图，q∈{1,2}。
25、更进一步的，步骤s1014中，初步的去雨图像为：
26、
27、其中，为原始输入图像，为3×3卷积操作后的特征图。
28、具体的，步骤s2中，多阶段去雨网络的损失函数la为：
29、
30、其中，le为edge损失，ψp为预测无雨图像，gp为清晰无雨图像，lc为charbonnier损失，β为权重系数。
31、具体的，步骤s3中，输入的有雨图像首先经过3×3常规卷积层，将图像升维运算，然后图像进入类沙漏结构，得到处理后的特征图s为子图像所处网络阶段，q为子图像在完整图像中的位置。
32、第二方面，本专利技术实施例提供了一种雨天车道线检测系统，包括：
33、去雨网络模块，构建基于类沙漏结构的多阶段去雨网络；
34、车道线检测模块，构建网络模块得到的多阶段去雨网络的损失函数；
35、雨天车道线检测模块，向函数模块得到的多阶段去雨网络中输入雨天交通场景图像，通过小尺度精细化雨纹特征提取和大尺度条件下背景层精细化恢复后输出去雨图像；将去雨图像输入车道线检测模型lanenet中，输出得到车道线检测结果，实现雨天车道线检测。
36、与现有技术相比，本专利技术至少具有以下有益效果：
37、一种雨天车道线检测方法，基于多阶段逐步恢复的思想(mprnet mspfn)，提出去雨网络memsnet，去雨网络memsnet由两个阶段组成，每阶段均包含一个形似沙漏的改进编码器-解码器架构，用以充分提取和整合多尺度下不同结构的雨纹特征，并通过跨阶段融合机制进行信息本文档来自技高网...
【技术保护点】
1.一种雨天车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的雨天车道线检测方法，其特征在于，步骤S1中，基于类沙漏结构的多阶段去雨网络包含轻量级高效雨纹特征提取模块和雨纹特征融合模块，轻量级高效雨纹特征提取模块用于提取不同层次的雨纹特征，雨纹特征融合模块用于将不同阶段的雨纹信息融合。
3.根据权利要求2所述的雨天车道线检测方法，其特征在于，多阶段去雨网络的编码器-解码器架构构建如下：
4.根据权利要求3所述的雨天车道线检测方法，其特征在于，步骤S1011中，初步提取特征图像具体为：
5.根据权利要求3所述的雨天车道线检测方法，其特征在于，步骤S1012中，不同尺度下雨纹特征提取具体为：
6.根据权利要求3所述的雨天车道线检测方法，其特征在于，步骤S1013中，降维运算具体为：
7.根据权利要求3所述的雨天车道线检测方法，其特征在于，步骤S1014中，初步的去雨图像为：
8.根据权利要求1所述的雨天车道线检测方法，其特征在于，步骤S2中，多阶段去雨网络的损失函数La为：
<...【技术特征摘要】
1.一种雨天车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的雨天车道线检测方法，其特征在于，步骤s1中，基于类沙漏结构的多阶段去雨网络包含轻量级高效雨纹特征提取模块和雨纹特征融合模块，轻量级高效雨纹特征提取模块用于提取不同层次的雨纹特征，雨纹特征融合模块用于将不同阶段的雨纹信息融合。
3.根据权利要求2所述的雨天车道线检测方法，其特征在于，多阶段去雨网络的编码器-解码器架构构建如下：
4.根据权利要求3所述的雨天车道线检测方法，其特征在于，步骤s1011中，初步提取特征图像具体为：
5.根据权利要求3所述的雨天车道线检测方法，其特征在于，步骤s1012中，不同尺度下...
【专利技术属性】
技术研发人员：张武，张杭铖，仝秋红，王怡萌，苏海东，杜海林，王齐超，米奕桦，苏胜君，胡待方，高飞，刘大鹏，潘龙，
申请(专利权)人：陕西智能网联汽车研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。