基于无人机航拍图像的车道线检测及车道辅助保持方法技术

本发明专利技术涉及基于无人机航拍图像的车道线检测及车道辅助保持方法，属于计算机视觉领域。针对传统基于车载摄像头视角的车道线检测视野受限问题，该方法以无人机视角代替车载摄像头视角进行道路图像采集，设计了全新的车道线检测网络与损失函数，同时针对无人机图像传输干扰问题设计了航拍图像去噪模型；然后利用加载了车道线检测模块与航拍图像去噪模块的地面工作站接收无人机传输的道路图像进行车道线检测；接下来基于车道线检测模块的输出结果计算车道中心点与图像中心点之间的偏移量，最后根据偏移量生成偏移信号发送至无人车辅助其进行车道保持。助其进行车道保持。助其进行车道保持。

【技术实现步骤摘要】
基于无人机航拍图像的车道线检测及车道辅助保持方法


[0001]本专利技术属于计算机视觉领域，涉及基于无人机航拍图像的车道线检测及车道辅助保持方法。

技术介绍

[0002]随着智能交通系统(Intelligent Transportation System,ITS)的发展，城市智能化交通逐渐得到普及，以车辆自动驾驶为代表的智能交通技术也随之受到了广泛的关注。同时，计算机视觉技术已在车辆自动驾驶领域中得到广泛应用。利用视觉传感器获取自动驾驶车辆在行驶过程中的道路图像数据进行车道线检测，并利用检测结果辅助自动驾驶汽车进行车道保持，可大幅提高自动驾驶车辆的安全性与可靠性。
[0003]目前自动驾驶车辆车道辅助保持方法主要通过检测道路的车道线来为自动驾驶车辆提供道路区域与边界信息,主流的车道线检测方法包括基于雷达的车道线检测与基于图像的车道线检测。其中基于图像的车道线检测方法主要是通过对车载摄像头拍摄的道路图像进行处理实现的。由于车载摄像头的拍摄视野较小，在跟车距离过近或前车高度较高时视线容易被遮挡，因此在实际应用中会受到许多阻碍。随着无人机技术的发展，考虑无人机的远距视野优势，利用无人机代替车载摄像头获取道路图像进行车道线检测成为了可行方案。
[0004]然而，现有的车道线检测算法主要基于地面车辆视角的道路影像数据，在将其应用于无人机航拍图像时往往会造成车道线检测精度下降，同时由于无人机工作环境的特殊性与复杂性，从无人机获得的道路图像在成像及传输过程中也易于受到噪声干扰，进而导致图像质量下降，影响后续的车道线检测任务。此外，如何利用基于无人机航拍图像的车道线检测方法的检测结果辅助自动驾驶车辆进行车道保持也是一个亟待解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供基于无人机航拍图像的车道线检测及车道辅助保持方法，具有感知范围广，鲁棒性强的特点，在车道线检测领域及车辆自动驾驶领域具有较强的现实意义与良好的应用前景。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]基于无人机航拍图像的车道线检测及车道辅助保持方法，该方法包括以下步骤：
[0008]S1：车道线检测模型构建部分：
[0009]S11构建并训练航拍视角下的车道线检测深度学习模型：
[0010]S12：模型的训练至少2000张标记后的无人机航拍视角下的车道线图片，其中按照10：1的比例设定为训练集以及测试集；
[0011]S13：针对主网络和辅助网络，分别设计分类损失函数L
cls
与实例分割损失函数L
seg
，其中主网络采用车道线概率分布预测值与训练数据集真实车道线位置之间的交叉熵作为损失函数L
cls，
如下式所示：
[0012][0013]式中P
i,j
为主网络中车道线位置的预测值，T
i,j
为训练集中车道线所在位置的标签，下标i表示图像中的某一车道线序号，下标j表示某一预设行锚的序号，C为图像中的车道线个数，h为预设的行锚数，N为模型预测的样本数量；
[0014]其次，考虑车道线的连续性与平滑性，采用L
cont
作为主网络的连续性损失函数，如下式所示：
[0015][0016]用该损失函数计算图像相邻行之间对同一条车道线位置概率分布的预测值，训练网络时以缩小相邻行对同一条车道线位置概率分布的预测值的差距为目标；
[0017]此外，为使车道线的预测更为平滑，应令图像相邻行之间对同一条车道线位置概率分布值的递增或递减关系一致，为此采用L
str
为主网络的结构损失函数，如下式所示：
[0018][0019]选择交叉熵作为辅助网络的损失函数，如下式所示：
[0020][0021]式中p
i,j
为辅助网络的分割预测输出，t
i,j
为数据集中的实例分割标签，综合主网络与辅助网络的损失函数，车道线检测模型的整体损失函数L为：
[0022]L＝W
cls
L
cls
+W
cont
L
cont
+W
str
L
str
+W
seg
L
seg
ꢀꢀꢀꢀ
(5)
[0023]其中W
cls
,W
cont
,W
str
,W
seg
为各损失函数分量的权重系数；
[0024]S14：训练车道线检测模型时，选择Adam为网络训练优化器，设定迭代次数epoch为1000次；
[0025]S2：无人机航拍图像去噪模型构建部分：
[0026]S21：构建并训练无人机航拍图像去噪模型：
[0027]为了在图像去噪的同时保留更多的细节，去噪网络采用基于多尺度U
‑
Net的双分支网络结构，具体架构如下：
[0028]第一个分支网络首先通过3个连续的3*3卷积核与尺度为2的最大池化层对输入的噪声图像进行3次连续下采样提取特征，并使用高斯误差线性单元GELU作为激活函数，随后通过同等尺度3次转置卷积进行连续上采样，激活函数同样使用GELU,从而得到第一个网络分支的输出；
[0029]为了保留更多的梯度信息，对第一个分支网络的第二层与倒数第二层建立残差连接；
[0030]第二个分支网络首先采用3个连续的3*3空洞卷积对输入图像进行操作，用以扩大去噪模型的感受野，随后将空洞卷积的输出结果输入至同等数量的常规3*3卷积核，进而得到第二个分支网络的输出；
[0031]为了提高去噪模型的性能，在第二个分支网络中3个连续的3*3空洞卷积模块之间
引入通道注意力模块CA；
[0032]对于第一个分支网络和第二个分支网络的输出，分别计算其在通道维度上的最大值与平均值，并对得到的最大值矩阵和平均值矩阵进行拼接，并采用1*1卷积核对结果进行卷积操作，进而得到融合后的航拍去噪图像；
[0033]S22：去噪模型的训练需要至少3000张成对的噪声/干净图像对，其中每张图片的大小为200*200；
[0034]S3：基于空地协同的车道辅助保持部分：
[0035]将训练好的车道线检测模型与无人机航拍图像去噪模型加载至随车地面工作站,同时令无人机保持在地面行驶的自动驾驶车辆的后方飞行并实时拍摄道路场景图像；
[0036]无人机在悬停及飞行过程中接收自动驾驶车辆的实时GPS信息并以此调整自身位置，以实现对车辆的跟随；
[0037]无人机载控制面板通过socket将道路场景图像传送至随车地面工作站，图像的socket传输协议为TCP；
[0038]地面工作站在接收到无人机拍摄的道路场景图像后，采用自然图像质量评价指标(Natural Image Quality Evaluator,NIQ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无人机航拍图像的车道线检测及车道辅助保持方法，其特征在于：该方法包括以下步骤：S1：车道线检测模型构建部分：S11构建并训练航拍视角下的车道线检测深度学习模型：S12：模型的训练至少2000张标记后的无人机航拍视角下的车道线图片，其中按照10：1的比例设定为训练集以及测试集；S13：针对主网络和辅助网络，分别设计分类损失函数L
cls
与实例分割损失函数L
seg
，其中主网络采用车道线概率分布预测值与训练数据集真实车道线位置之间的交叉熵作为损失函数L
cls
，如下式所示：式中P
i,j
为主网络中车道线位置的预测值，T
i,j
为训练集中车道线所在位置的标签，下标i表示图像中的某一车道线序号，下标j表示某一预设行锚的序号，C为图像中的车道线个数，h为预设的行锚数，N为模型预测的样本数量；其次，考虑车道线的连续性与平滑性，采用L
cont
作为主网络的连续性损失函数，如下式所示：用该损失函数计算图像相邻行之间对同一条车道线位置概率分布的预测值，训练网络时以缩小相邻行对同一条车道线位置概率分布的预测值的差距为目标；此外，为使车道线的预测更为平滑，令图像相邻行之间对同一条车道线位置概率分布值的递增或递减关系一致，采用L
str
为主网络的结构损失函数，如下式所示：选择交叉熵作为辅助网络的损失函数，如下式所示：式中p
i,j
为辅助网络的分割预测输出，t
i,j
为数据集中的实例分割标签，综合主网络与辅助网络的损失函数，车道线检测模型的整体损失函数L为：L＝W
cls
L
cls
+W
cont
L
cont
+W
str
L
str
+W
seg
L
seg (5)其中W
cls
,W
cont
,W
str
,W
seg
为各损失函数分量的权重系数；S14：训练车道线检测模型时，选择Adam为网络训练优化器，设定迭代次数epoch为1000次；S2：无人机航拍图像去噪模型构建部分：S21：构建并训练无人机航拍图像去噪模型：为了在图像去噪的同时保留更多的细节，去噪网络采用基于多尺度U
‑
Net的双分支网络结构，具体架构如下：第一个分支网络首先通过3个连续的3*3卷积核与尺度为2的最大池化层对输入的噪声
图像进行3次连续下采样提取特征，并使用高斯误差线性单元GELU作为激活函数，随后通过同等尺度3次转置卷积进行连续上采样，激活函数同样使用GELU,从而得到第一个网络分支的输出；为了保留更多的梯度信息，对第一个分支网络的第二层与倒数第二层建立残差连接；第二个分支网络首先采用3个连续的3*3空洞卷积对输入图像进行操作，用以扩大去噪模型的感受野，随后将空洞卷积的输出结果输入至同等数量的常规3*3卷积核，进而得到第二个分支网络的输出；为了提高去噪模型的性能，在第二个分支网络中3个连续的3*3空洞卷积模块之间引入通道注意力模块CA；对于第一个分支网络和第二个分支网络的输出，分别计算其在通道维度上的最大值与平均值，并对得到的最大值矩阵和平均值矩阵进行拼接，并采用1*1卷积核对结果进行卷积操作，进而得到融合后的航拍去噪图像；S22：去噪模型的训练需要至少3000张成对的噪声/干净图像对，其中每张图片的大小为200*200；S3：基于空地协同的车道辅助保持部分：将训练好的车道线检测模型与无人机航拍图像去噪模型加载至随车地面工作站,同时令无人机保持在地面行驶的自动驾驶车辆的后方飞行并实时拍摄道路场景图像；无人机在悬停及飞行过程中接收自动驾驶车辆的实时GPS信息并以此调整自身位置，以实现对车辆的跟随；无人机载控制面板通过socket将道路场景图像传送至随车地面工作站，图像的...

【专利技术属性】
技术研发人员：李永福，冯琦，黄龙旺，黄鑫，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：