一种三维道路线提取方法及相关设备技术

本发明专利技术提供了一种三维道路线提取方法及相关设备，包括：基于车载平台获取研究区域的双目影像数据以及惯导定位数据；根据惯导定位数据，对双目影像数据进行视差估计，得到视觉三维点云；在研究区域中确定以双目相机为圆心、预设距离为半径的区域作为目标区域，提取目标区域内的视觉三维点云，并对目标区域内的视觉三维点云进行转换，得到目标区域的路面鸟瞰图和点云高程图；将路面鸟瞰图和点云高程图输入车道线检测网络进行道路线提取，得到三维道路线以及道路线的三维坐标；与现有技术相比，克服了目前车载影像中道路线识别方法精度低、鲁棒性较差和检测成本过高等问题，提升车载影像中道路线检测的效率和质量。载影像中道路线检测的效率和质量。载影像中道路线检测的效率和质量。

【技术实现步骤摘要】
一种三维道路线提取方法及相关设备


[0001]本专利技术涉及摄影测量、高精度定位及人工智能交叉
，特别涉及一种三维道路线提取方法及相关设备。

技术介绍

[0002]城市化快速推进，道路基础设施建设日益完善，如自动驾驶、智能交通系统等新兴技术产业蓬勃发展，传统地图上基础空间矢量道路数据所记录的道路二维信息多以线要素进行存储和表达，而非道路的真实三维形态，当前已无法满足自动驾驶、三维场景导航及数字孪生等新兴技术产业发展的需要。高精度、现势性良好、语义丰富的高精度路网地图是相关智能系统安全运行的基础，道路线为确定一条行车道范围的左右边线，一般情况下，车道范围由地面印刷的道路线确定，大致分为单虚线、单实线、双实线、双虚线以及虚实线五种类型，确保车辆行驶在正确车道内，为车辆行驶提供安全保障，在自动驾驶高精度地图制作中，是最重要的道路要素。但是三维道路线信息采集需要高质量、高精度的数据支持，以往研究受限于数据获取，在城市级三维道路信息采集方面，传统测图技术以及激光雷达采集等方法均面临诸多挑战，如何实现自动化、低成本地提取三维车道信息成当前研究热点。
[0003]国内外学者对三维道路提取方法已进行多年研究，当前三维道路线采集方法依据数据来源可分为：基于激光点云的方法和基于车载影像的方法。车载激光雷达点云是道路要素三维数据获得重要来源之一，智能化地从雷达点云中提取道路三维信息也是当前三维建模领域需解决的重要问题。Dinesh等依据路面高度在道路横截面方向存在变化这一特性，对每条扫描线所得点云进行高度直方图统计以实现路面信息的提取。Abujadrous等结合路面宽度、道路曲率等先验特征对直方图统计所得道路进行优化。Jaakkola等注意到道路两侧路沿相比于道路具有显著的高度差，依据沿雷达扫描线方向生成的高程图中提取道路边界，最后基于Delaunay三角网和道路宽度信息来构建路面。上述方法受限于地面高程阈值的选择，在简单且规则的道路环境能够较好地提取道路，但在复杂不规则道路场景中存在缺陷。Yuan等提出一种基于最大熵理论的模糊聚类方法对同一条扫描线的点云进行聚类，并对相邻的聚类结果进行整体优化以提取万众的路面要素。Milioto等使用球面投影将激光点云进行类深度图像转换，并使用卷积神经网络对转换结果进行语义分割，能够较好地实现车道区域提取。
[0004]总体而言，目前仍缺乏高效的三维道路线提取算法，现有方法主要存在问题包括：
[0005](1)当前道路三维信息自动化提取研究多为分离任务，即道路线三维位置信息与道路线检测任务分离，难以实现优势互补；
[0006](2)在应用层面，存在成本制约、环境影响、获取效率等多方面条件限制，无法为全范围、大规模的三维道路信息采集提供支持；
[0007](3)从车载影像中直接检测道路线，面临诸如遮挡、道路线非线性形变等诸多挑战，影响三维道路线最终提取质量。

技术实现思路

[0008]本专利技术提供了一种三维道路线提取方法及相关设备，其目的是为了提升三维道路线提取的效率和质量。
[0009]为了达到上述目的，本专利技术提供了一种三维道路线提取方法，包括：
[0010]步骤1，基于车载平台获取研究区域的双目影像数据以及惯导定位数据；
[0011]步骤2，根据惯导定位数据，对双目影像数据进行视差估计，得到视觉三维点云；
[0012]步骤3，在研究区域中确定以双目相机为圆心、预设距离为半径的区域作为目标区域，提取目标区域内的视觉三维点云，并对目标区域内的视觉三维点云进行转换，得到目标区域的路面鸟瞰图和点云高程图；
[0013]步骤4，将路面鸟瞰图和点云高程图输入车道线检测网络，以点云高程图为辅助信息，提取路面鸟瞰图中的道路线要素；依据道路线要素中的图像坐标计算道路线在相机空间下的三维坐标信息；依据相机空间到地理空间转换矩阵，对在相机空间下的三维坐标信息进行转换，得到三维道路线以及道路线的三维坐标。
[0014]进一步来说，在步骤2之前，还包括：
[0015]通过车载平台的双目相机在不同角度下拍摄的多幅研究区域的标定板图像，对标定板图像进行标定，得到相机内参矩阵和畸变系数；
[0016]根据双目相机的左相机空间绝对位姿与定位系统的位姿计算旋转平移参数，得到相机外参矩阵。
[0017]进一步来说，步骤2包括：
[0018]根据相机的内参矩阵、畸变系数和相机外参矩阵对双目影像数据以及惯导定位数据进行预处理；
[0019]根据预处理后的惯导定位数据，对预处理后的双目影像数据进行视差估计。
[0020]进一步来说，将预处理后的双目影像数据进行视差值估计，包括：
[0021]采用基于深度学习的立体匹配模型对预处理后的双目影像数据进行视差估计，得到每个像素点的视差值；
[0022]根据每个像素的视差值对每个像素点的三维坐标进行求解，公式如下：
[0023]z＝f*b/d
[0024]x＝x
l
*z/f
[0025]y＝y
l
*z/f
[0026]其中，x
l
,y
l
为双目影像的图像坐标，f为相机焦距，b为双目相机的左相机与右相机之间的距离，d为视差值；
[0027]根据每个像素点的三维坐标，获得三维视觉点云。
[0028]进一步来说，步骤3包括：
[0029]在研究区域中确定以双目相机为圆心、预设距离为半径的区域作为目标区域；
[0030]提取目标区域内的视觉三维点云；
[0031]将在三维空间下的目标区域内的视觉三维点云投影到二维空间，得到目标区域的路面鸟瞰图和点云高程图，转换公式如下：
[0032]Scal
x
＝pic
w
/(x
max
‑
x
min
)
[0033]Scal
y
＝pic
h
/(y
max
‑
y
min
)
[0034]X＝int(Scal
x
*(x0‑
x
min
))
[0035]Y＝pic
h
‑
int(Scal
y
*(y0‑
y
min
))
[0036]P
XY
＝value(x,y,z)
[0037]其中，pic
w
、pic
h
分别为转换目标图像的宽度和高度，均设置为400，x
max
、y
max
为目标区域内视觉三维点云在坐标轴上的最大值，x
min
、y
min
为目标区域内视觉三维点云在坐标轴上的最小值，XY为投影到平面的坐标，P表示像素点，对应像素值取视觉三维点云的颜色时，得到路面鸟瞰图；当对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维道路线提取方法，其特征在于，包括：步骤1，基于车载平台获取研究区域的双目影像数据以及惯导定位数据；步骤2，根据所述惯导定位数据，对所述双目影像数据进行视差估计，得到视觉三维点云；步骤3，从所述研究区域中确定以双目相机为圆心、预设距离为半径的区域作为目标区域，提取所述目标区域内的视觉三维点云，并对所述目标区域内的所述视觉三维点云进行转换，得到所述目标区域的路面鸟瞰图和点云高程图；步骤4，将所述路面鸟瞰图和所述点云高程图输入车道线检测网络，以所述点云高程图为辅助信息，提取所述路面鸟瞰图中的道路线要素；依据所述道路线要素中的图像坐标计算道路线在相机空间下的三维坐标信息；依据相机空间到地理空间转换矩阵，对在相机空间下的三维坐标信息进行转换，得到三维道路线以及道路线的三维坐标。2.根据权利要求1所述的三维道路线提取方法，其特征在于，在所述步骤2之前，还包括：通过车载平台的双目相机在不同角度下拍摄的多幅研究区域的标定板图像，对所述标定板图像进行标定，得到相机内参矩阵和畸变系数；根据所述双目相机的左相机空间绝对位姿与定位系统的位姿计算旋转平移参数，得到相机外参矩阵。3.根据权利要求2所述的三维道路线提取方法，其特征在于，所述步骤2包括：根据所述相机的内参矩阵、所述畸变系数和所述相机外参矩阵对所述双目影像数据以及所述惯导定位数据进行预处理；根据预处理后的惯导定位数据，对预处理后的双目影像数据进行视差估计。4.根据权利要求3所述的三维道路线提取方法，其特征在于，将预处理后的双目影像数据进行视差值估计，包括：采用基于深度学习的立体匹配模型对预处理后的双目影像数据进行视差估计，得到每个像素点的视差值；根据每个像素的视差值对每个像素点的三维坐标进行求解，公式如下：z＝f*b/dx＝x
l
*z/fy＝y
l
*z/f其中，x
l
,y
l
为双目影像的图像坐标，f为相机焦距，b为双目相机的左相机与右相机之间的距离，d为视差值；根据每个像素点的三维坐标，获得三维视觉点云。5.根据权利要求4所述的三维道路线提取方法，其特征在于，所述步骤3包括：在所述研究区域中确定以双目相机为圆心、预设距离为半径的区域作为目标区域；提取所述目标区域内的视觉三维点云；将在三维空间下的所述目标区域内的视觉三维点云投影到二维空间，得到所述目标区域的路面鸟瞰图，转换公式如下：Scal
x
＝pic
w
/(x
max

【专利技术属性】
技术研发人员：邓敏，罗斌，唐建波，丁晨，姚志鹏，
申请(专利权)人：中南大学，
类型：发明
国别省市：