图像和方向盘转向角度融合的自动驾驶车道线分割方法技术

本申请提供了图像和方向盘转向角度融合的自动驾驶车道线分割方法，涉及自动驾驶技术领域，所述方法包括：获取车辆转弯时的RGB图像和转向角；利用预先训练完成的车道线检测模型对RGB图像和转向角进行处理，得到车道线分割结果；所述车道线检测模型包括：特征提取模块、融合模块和检测模块；所述特征提取模块，用于提取RGB图像的特征图；所述融合模块，用于对转向角和RGB图像的特征图进行融合，得到融合后的特征图；所述检测模块，用于对融合后的特征图进行检测，得到车道线分割结果。本申请提高了车辆转弯时的车道线检测的精度。了车辆转弯时的车道线检测的精度。了车辆转弯时的车道线检测的精度。

【技术实现步骤摘要】
图像和方向盘转向角度融合的自动驾驶车道线分割方法


[0001]本申请涉及自动驾驶
，尤其是涉及图像和方向盘转向角度融合的自动驾驶车道线分割方法。

技术介绍

[0002]目前，车道线检测的方法大致分为两类：传统图像方法和基于深度学习的方法。其中，传统图像方法通过边缘检测滤波等方式先分割出车道线区域，再结合霍夫变换等算法进行车道线检测。这类算法存在一定的缺点：(1)这种方法需要人工手动去调滤波算子，根据算法所针对的道路场景的特点手动调节参数曲线，工作量大且鲁棒性较差；(2)当出现突发情况或者环境变化明显时，车道线的检测效果会受到很大影响；(3)这类传统方式实时性不好，安全性得不到保障。
[0003]由于深度学习的方法具有更好的实时性和鲁棒性，且可以更好的利用语义信息，使得这种方法逐渐代替传统图像的方式。但是深度学习的方法普遍存在以下几点问题：(1)方法的效果测试都基于公开数据集，这些数据集中的图片往往比较清晰，且比较具有规律，然而在真实场景下是否还能保持这种效果并没有测试；(2)这些方法都只采用的关于道路的二维图像数据进行车道线检测，从而忽略了丰富的车辆底层信息数据，在自动驾驶领域中，车辆底层信息数据例如转角、车速等也起到了非常重要的作用，这些数据往往能直观的表示出车辆当前的状态；(3)其中基于分割的车道线检测方法，因为其对每个像素点分类，导致分割模型大、处理速度慢；(4)缺乏对全局信息的提取，对全局信息充分理解有利于提高算法的鲁棒性，对于遮挡、不良光照等问题，也能进行很好的检测。

技术实现思路
r/>[0004]有鉴于此，本申请提供了图像和方向盘转向角度融合的自动驾驶车道线分割方法，以解决上述技术问题。
[0005]第一方面，本申请实施例提供了一种图像和方向盘转向角度融合的自动驾驶车道线分割方法，包括：
[0006]获取车辆转弯时的RGB图像和转向角；
[0007]利用预先训练完成的车道线检测模型对RGB图像和转向角进行处理，得到车道线分割结果；所述车道线检测模型包括：特征提取模块、融合模块和检测模块；
[0008]所述特征提取模块，用于提取RGB图像的特征图；
[0009]所述融合模块，用于对转向角和RGB图像的特征图进行融合，得到融合后的特征图；
[0010]所述检测模块，用于对融合后的特征图进行检测，得到车道线分割结果。
[0011]进一步地，所述特征提取模块采用Res blocks，Res blocks包括依次连接的3*3卷积层、归一化层、ReLU层、3*3卷积层、归一化层、加法器和ReLU层，所述加法器对归一化层输出的特征图和RGB图像进行相加。
[0012]进一步地，所述融合模块具体用于：
[0013]对于RGB图像的像元(i,j)的特征值f(i,j)进行如下处理，得到融合后的特征f
′
(i,j)：
[0014]f
′
(i,j)＝(1
‑
A)
×
f(i,j)
[0015]其中，A为转角，i为像元在图像的横坐标，j为像元在图像的纵坐标。
[0016]进一步地，所述检测模块包括：全连接层、Reshape层和车道检测器；所述全连接层将二维的融合后的特征图转为一维的向量；所述Reshape层将一维向量调整为预设大小的图像；所述车道检测器对预设大小的图像进行车道线分类检测，输出车道线检测结果。
[0017]进一步地，所述方法还包括：
[0018]获取训练集，包括：真实场景下的自然图像数据集和转角数据集；所述自然图像数据集包括：恶劣光照直线下的RGB样本图像子集、恶劣光照曲线下的RGB样本图像子集、良好光照直线下的RGB样本图像子集以及恶劣光照直线下的RGB样本图像子集；
[0019]在车道线检测模型中增加辅助分割模块，所述辅助分割模块，用于对融合后的特征图，得到车道线分割结果；
[0020]将训练集中的每张RGB样本图像和对应的转向角，输入增加辅助分割模块的车道线检测模型，得到每张RGB样本图像对应的车道线预测结果；
[0021]基于每张RGB样本图像对应的车道线预测结果和车道线标注结果，确定损失函数值；
[0022]基于损失函数值，更新车道线检测模型的模型参数。
[0023]进一步地，基于每张RGB样本图像对应的车道线预测结果和车道线标注结果，确定损失函数值；包括：
[0024]计算辅助分割模块的损失函数L
s
：
[0025][0026]其中，x
n,j
表示在第j个row anchor中第n个网格点；p(x
n,j
)为网格点x
n,j
属于车道线点的概率，q(x
n,j
)为网格点x
n,j
不属于车道线点的概率；N为每一行的网格数量，S表示row anchor的数量；
[0027]计算车道检测模块的损失函数L
c
：
[0028][0029]其中，M为车道线数量，L
CE
()代表交叉熵函数，P
i,j
表示第i条车道线上第j个row anchor的分类向量，T
i,j
为P
i,j
的标签数据；
[0030]计算车道线的物理结构的损失函数L
p
：
[0031]L
p
＝L
p1
+L
p2
[0032]其中，相似性损失函数L
p1
为：
[0033][0034]其中，二阶差分损失函数L
p2
为：
[0035][0036]其中，Loc
i,j
代表第j个row anchor中第i条车道线的位置；
[0037]总损失函数值L为：
[0038]L＝L
c
+L
P
+L
s
。
[0039]第二方面，本申请实施例提供了一种图像和方向盘转向角度融合的自动驾驶车道线分割装置，包括：
[0040]获取单元，用于获取车辆转弯时的RGB图像和转向角；
[0041]车道线分割单元，用于利用预先训练完成的车道线检测模型对RGB图像和转向角进行处理，得到车道线分割结果；所述车道线检测模型包括：特征提取模块、融合模块和检测模块；
[0042]所述特征提取模块，用于提取RGB图像的特征图；
[0043]所述融合模块，用于对转向角和RGB图像的特征图进行融合，得到融合后的特征图；
[0044]所述检测模块，用于对融合后的特征图进行检测，得到车道线分割结果。
[0045]第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的方法。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像和方向盘转向角度融合的自动驾驶车道线分割方法，其特征在于，包括：获取车辆转弯时的RGB图像和转向角；利用预先训练完成的车道线检测模型对RGB图像和转向角进行处理，得到车道线分割结果；所述车道线检测模型包括：特征提取模块、融合模块和检测模块；所述特征提取模块，用于提取RGB图像的特征图；所述融合模块，用于对转向角和RGB图像的特征图进行融合，得到融合后的特征图；所述检测模块，用于对融合后的特征图进行检测，得到车道线分割结果。2.根据权利要求1所述的方法，其特征在于，所述特征提取模块采用Res blocks，Res blocks包括依次连接的3*3卷积层、归一化层、ReLU层、3*3卷积层、归一化层、加法器和ReLU层，所述加法器对归一化层输出的特征图和RGB图像进行相加。3.根据权利要求1所述的方法，其特征在于，所述融合模块具体用于：对于RGB图像的像元(i,j)的特征值f(i,j)进行如下处理，得到融合后的特征f
′
(i,j)：f
′
(i,j)＝(1
‑
A)
×
f(i,j)其中，A为转角，i为像元在图像的横坐标，j为像元在图像的纵坐标。4.根据权利要求1所述的方法，其特征在于，所述检测模块包括：全连接层、Reshape层和车道检测器；所述全连接层将二维的融合后的特征图转为一维的向量；所述Reshape层将一维向量调整为预设大小的图像；所述车道检测器对预设大小的图像进行车道线分类检测，输出车道线检测结果。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练集，包括：真实场景下的自然图像数据集和转角数据集；所述自然图像数据集包括：恶劣光照直线下的RGB样本图像子集、恶劣光照曲线下的RGB样本图像子集、良好光照直线下的RGB样本图像子集以及恶劣光照直线下的RGB样本图像子集；在车道线检测模型中增加辅助分割模块，所述辅助分割模块，用于对融合后的特征图，得到车道线分割结果；将训练集中的每张RGB样本图像和对应的转向角，输入增加辅助分割模块的车道线检测模型，得到每张RGB样本图像对应的车道线预测结果；基于每张RGB样本图像对应的车道线预测结果和车道线标注结果，确定损失函数值；基于损失函数值，更新车道线检测模型的模型参数。6.根据权利要求5所述的方法，其特征在于，基于每张RGB样本图像对应的车道线预测结果和车道线标注结果，确定损失函数值；包括：计算辅助分割...

【专利技术属性】
技术研发人员：李志伟，宫彦，刘文卓，鲁建丽，王坤峰，杨枝朋，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：