基于深度学习车辙线识别的巡线返回导航方法技术

本发明专利技术公开了一种基于深度学习车辙线识别的巡线返回导航方法，用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线；按照图像的默认坐标系标注车辙线的端点的坐标值；构建深度学习识别模型，包含编码

【技术实现步骤摘要】
基于深度学习车辙线识别的巡线返回导航方法


[0001]本专利技术涉及无人车巡视返回导航领域，尤其涉及一种基于深度学习图像车辙线识别的无人车巡线返回导航方法。

技术介绍

[0002]野外相对定位信息对于无人探测车在探实施过程中实现自动导航定位及远程遥操作具有重要作用。而在沙漠表面覆盖有一层松散的沙壤，沙壤主要由松散的粉末状细微颗粒组成，且几乎整个沙漠表面都覆盖着厚度不等的沙壤层，沙壤平均厚度4～5m，高地区平均厚10～20m，无规律的分布着大小形态不同的坑、岩石和斜坡，因此通过性较差，容易导致沙漠表面车车轮深陷其中，并且造成严重打滑，地表普通轮式里程计在沙漠表面环境严重失效。所以亟需一种方法可以保证沙漠表面车在行进过程中，可以实现较为准确的相对定位。视觉SLAM点特征使用最为广泛，在特征提取、匹配都比较成熟。单一点特征对于环境依赖较大，在纹理缺失等场景中表现不佳；而沙漠表面环境下沙漠表面车行驶之后存在“车辙”，车辙线是一个良好的线特征。故点特征与线特征相结合可以实现较好的特征互补。通过在沙漠表面车后端搭载双目相机，检测沙漠表面车行进过程中的车辙信息，可以通过视觉检测的方法实现沙漠表面车行进里程相对准确的计算，从而实现沙漠表面车相对定位。
[0003]完成巡检任务后，无人车也可以沿车辙线返航。由于车辙线的实际分布较复杂，在有些地区，车辙线信息未被精确的绘入导航地图，依靠GPS信息很难实现精确的导航，难以保证摄像头拍摄到清晰的车辙线及其附件；同时，一些地区的GPS信息比较弱，有时还可能丢失信号的情况，因此，单靠GPS导航的可靠性不高。而基于视觉的沿车辙线行进导航是依靠准确识别车辙线为基础的，因此比GPS导航更加可靠和准确。
[0004]因此，识别车辙线是基于图像的无人车巡线自主导航中的一项必不可少的任务。如果无人车可以识别车辙线的位置及朝向，就可以根据这些信息实时调整自身的行进方向和位置，保持与车辙线的路径一致。在无人车巡检中的车辙线识别问题上，已经有了不少相关的研究，例如Burns等人(1986)提出了一种通过边缘检测及像素聚类的方法来识别车辙线，Akinlar等人(2011)提出了一种名为EDlines的边缘轮廓线检测方法，Ceron等人(2014)提出了一种基于圆圈搜索技术(CBS)的无人车车辙线检测模型。基于CBS，Ceron等人(2018)又提出了基于线段梯度直方图(HOS)的车辙线识别方法。然而，这些方法在处理复杂背景下的无人车拍照图时，都不够稳定可靠。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提供一种基于深度学习车辙线识别的巡线返回导航方法，可以实现端到端地识别车辙线中心坐标及方向角，具有较高的效率，便于完成无人车巡检返回导航。
[0006]为达到上述目的，本专利技术通过以下技术方案实现：
[0007]一种基于深度学习车辙线识别的巡线返回导航方法，包括：
[0008]步骤S1：对无人车俯视视角的车辙线进行数学抽象，采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线；
[0009]步骤S2：对于训练集和测试集的图像，按照图像的默认坐标系标注每根车辙线的端点的坐标值；
[0010]步骤S3：构建深度学习识别模型，模型结构包含一个编码
‑
解码模块，以及一个预测模块，其包含三个全卷积网络分支，分别预测车辙线中心点的高斯分布核，车辙线的中心点相对真实值的偏移量以及车辙线中心点的方向；
[0011]步骤S4：模型从车辙线中心点预测分支的特征图上，查找具有高斯核分布特点的区域，并选取其中心；
[0012]对于特征图上的多个高斯分布核，模型按照其中心点的值的大小进行排名，并选取前N个点作为备选的车辙线中心点；
[0013]模型对备选的车辙线中心点对应的像素值进行筛选，把大于等于阈值的作为模型初步预测到的车辙线的中心点；
[0014]模型根据初步预测的车辙线的中心点的坐标，查找相应的车辙线中心偏移预测分支生成的预测图上对应的坐标值的偏移量，并经过偏移量修正得到最终的车辙线中心点坐标的预测值。
[0015]可选地，所述步骤S1中，无人车俯视视角中的车辙线近似为直线，对其端点取平均，得到车辙线的近似中心点，并采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线，作为无人车沿车辙线行进的导航依据。
[0016]可选地，所述步骤S2中，对数据集进行以下一项或多项基于车辙线端点的数据增强方法：任意方向平移、任意比例缩小、任意角度旋转、任意剪切变形。
[0017]可选地，所述模型采用基于无锚框构架的紧凑型单步法目标识别模型结构，用于直接预测车辙线的中心点及方向，同时取消对物体目标框的识别。
[0018]可选地，所述步骤S3中，模型的输入是一个大小为512
×
512
×
3的彩色图像，经过编码
‑
解码模块后生成了一个大小为128
×
128
×
5的特征图；
[0019]将特征图分为三个分支，第一个预测分支由一个单通道的特征图构成，产生一个用于拟合物体中心的高斯分布核；通过第一个预测分支生成与真实值分布一致的热度图，热度图上车辙线的中心位置有高斯核分布；
[0020]模型的第二个预测分支，其大小为128
×
128
×
1，用于预测热度图中的高斯核的中心坐标与实际车辙线中心的偏移量；
[0021]模型的第三个预测分支，用于预测车辙线方向角的正弦和余弦值；正弦和余弦值的范围在[
‑
1,1]之间。
[0022]可选地，采用相应的损失函数对模型的参数进行优化；
[0023]其中，对于第一个预测分支，采用用于分类任务的focal loss函数；对于第二个和第三个预测分支，采用了L1损失函数；模型则最终损失函数是三个预测分支的损失函数的加权和。
[0024]可选地，所述步骤S4中，第三个预测分支还用于直接预测每根车辙线的方向角的正弦和余弦值，并与其他两个分支预测的车辙线的中心点对应。
[0025]可选地，所述步骤S4中，对于特征图上的多个高斯分布核，模型按照其中心点的值
的大小进行排名，并选取最多前100个点作为备选的车辙线中心点。
[0026]可选地，在步骤S4之后进一步包含步骤S5，对模型预测的所有车辙线的中心点和方向进行聚类；其中，对模型预测的所有车辙线的中心点计算其最小外包矩形，根据最小外包矩形的中心位置，构建一个高斯核来描述预测到的车辙线对应的权重，通过该高斯核来强化位于车辙线束的中心区域的车辙线对最终决策的影响，同时兼顾考虑其他车辙线的位置和方向。
[0027]本专利技术主要提出了无人车在执行沿车辙线巡线返回导航中的车辙线识别方法。由于无人车工作在复杂的环境中，车辙线自动识别和跟随是一项具有挑战性的任务。为了解决这个问题，本专利技术提出了一种基于深卷积神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习车辙线识别的巡线返回导航方法，其特征在于，包括：步骤S1：对无人车俯视视角的车辙线进行数学抽象，采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线；步骤S2：对于训练集和测试集的图像，按照图像的默认坐标系标注每根车辙线的端点的坐标值；步骤S3：构建深度学习识别模型，模型结构包含一个编码
‑
解码模块，以及一个预测模块，其包含三个全卷积网络分支，分别预测车辙线中心点的高斯分布核，车辙线的中心点相对真实值的偏移量以及车辙线中心点的方向；步骤S4：模型从车辙线中心点预测分支的特征图上，查找具有高斯核分布特点的区域，并选取其中心；对于特征图上的多个高斯分布核，模型按照其中心点的值的大小进行排名，并选取前N个点作为备选的车辙线中心点；模型对备选的车辙线中心点对应的像素值进行筛选，把大于等于阈值的作为模型初步预测到的车辙线的中心点；模型根据初步预测的车辙线的中心点的坐标，查找相应的车辙线中心偏移预测分支生成的预测图上对应的坐标值的偏移量，并经过偏移量修正得到最终的车辙线中心点坐标的预测值。2.如权利要求1所述的基于深度学习车辙线识别的巡线返回导航方法，其特征在于，所述步骤S1中，无人车俯视视角中的车辙线近似为直线，对其端点取平均，得到车辙线的近似中心点，并采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线，作为无人车沿车辙线行进的导航依据。3.如权利要求1所述的基于深度学习车辙线识别的巡线返回导航方法，其特征在于，所述步骤S2中，对数据集进行以下一项或多项基于车辙线端点的数据增强方法：任意方向平移、任意比例缩小、任意角度旋转、任意剪切变形。4.如权利要求1所述的基于深度学习车辙线识别的巡线返回导航方法，其特征在于，所述模型采用基于无锚框构架的紧凑型单步法目标识别模型结构，用于直接预测车辙线的中心点及方向，同时取消对物体目标框的识别；所述步骤S3中，模型的输入是一个大小为512
×
512
×
3的彩色图像，经...

【专利技术属性】
技术研发人员：胡涛，郑博，曹涛，张翰墨，钱洲元，李木子，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：