本发明专利技术公开了一种面向动态交通场景的路面三维重建方法和系统，本发明专利技术基于无人机立体摄影和深度学习实现动态交通影响下的路面三维重建，采用轻量化深度学习框架去除航拍图像上的车辆噪声，并通过图像序列空间优化自动调整不同车流密度区域内的图像重叠率，以提高路面三维建模质量和速度。面三维建模质量和速度。面三维建模质量和速度。
【技术实现步骤摘要】
一种面向动态交通场景的路面三维重建方法和系统
[0001]本专利技术涉及路面健康监测领域，具体涉及一种面向动态交通场景的路面三维重建方法和系统。
技术介绍
[0002]路面状况对交通运输的安全性、舒适性和经济性都有巨大影响，而路面健康监测是保证道路正常运营的基础。当前路面病害自动化检测大多是基于二维图像，而基于路面三维模型可以实现更准确的病害识别，同时可以得到各类病害的三维尺寸信息。随着三维测量技术的发展，路表三维数据的采集已经成为当前研究的热点。
[0003]目前，路面三维测量技术主要可以分为激光成像法和立体视觉法两种。目前大部分多功能路面检测车搭配的三维测量装置都是基于激光成像技术，其成像方式主要采用ToF(Time of Flight)原理或者结构光原理。虽然激光三维成像可以快速生成路面模型，但其易受强光、震动影响，且设备成本高昂。
[0004]因此，基于彩色图像的立体视觉三维成像成为低成本、高精度路面三维重建的替代方法。根据相机数量，立体视觉三维重建主要可以分为双目立体成像和单目立体成像。双目立体成像是通过位置固定的两个相机间产生的视差，来还原场景深度。双目立体成像的优点是成像速度快，但其也存在建模分辨率差的缺点，且相机安装位置的偏移会导致三维重建的不准确。
[0005]单目立体成像可以通过单台相机在移动过程中拍摄的图像来生成三维模型。在交通基础设施三维重建领域，单目立体成像主要采用无人机摄影来实现场景三维重建。基于多视角路面图像，通过图像特征匹配和对极几何来生成路面三维点云模型。虽然无人机单目立体成像已经可以实现大尺度道路场景的三维重建，但其在应用过中仍存在以下两个难点：(1)无人机立体摄影仅能在封闭道路上实施，开放道路上运行的车辆会遮挡路面并在建模过程中产生大量噪声；(2)为了观察到被车辆遮挡的路面区域，只能大幅增加图像采集密度，导致建模处理时间暴增。
[0006]为了实现航拍图像上车辆的自动化识别，当前研究已经尝试采用图像处理方法或深度学习进行地物识别，如道路、桥梁等建筑物。但目前目标识别方法的计算量都较大，且不同高度无人机图像上的物体尺寸变化会对识别精度产生巨大影响。
技术实现思路
[0007]本专利技术的目的在于克服上述现有技术的缺点，提供一种面向动态交通场景的路面三维重建方法和系统，以解决现有技术在道路运营环境下受移动车辆遮挡影响而导致重构模型缺失和大量表面噪声问题，以及大视域路面三维重构效率低下问题。
[0008]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0009]一种面向动态交通场景的路面三维重建方法，包括以下步骤：
[0010]步骤1，采集无人机拍摄的图像；
[0011]步骤2，将拍摄的图像作为预测集图像输入至改进YOLO车辆检测器中，获得拍摄预测集图像中车辆的坐标文件；以车辆的坐标文件为基准，将预测集图像中车辆边界框内的区域单值化；
[0012]步骤3，通过特征提取法获得预测集图像中相邻图像间的空间关系，通过相邻图像之间的空间关系和每张图像上的车辆边界框，计算相邻图像间的实际遮挡率和地面重叠率，结合图像序列空间优化识别无效图像，去除无效图像，获得预处理图像；
[0013]结合预处理图像和图像的坐标文件，通过立体视觉重建路面三维形貌。
[0014]本专利技术的进一步改进在于：
[0015]优选的，步骤1前，从电子地图中提取计划拍摄路面区域的边界坐标，生成飞行区域文件，将飞行区域文件导入无人机中，无人机对计划拍摄路面区域拍摄。
[0016]优选的，步骤2中通过改进YOLO车辆检测器获得拍摄预测集图像中车辆的坐标文件过程为：
[0017](1)将拍摄的图像以初始(512,512,3)的尺寸输入至改进YOLO车辆检测器中，初步预测出车辆边界框，并统计车辆平均像素宽度；
[0018](2)根据训练集图像上车辆平均像素宽度和预测集图像上车辆平均像素宽度的比值，计算缩放因子k。
[0019](3)通过缩放因子调节预测集图像输入尺寸为(512*k,512*k,3)，再次输入至深度学习框架，预测出最终准确的车辆边界框。
[0020]优选的，所述改进YOLO车辆检测器的获得过程为：
[0021]对骨干特征提取网中的第6层、第12层和第14层从输入的图像提取出的图像分别进行采样、拼接及特征提取，然后通过标准卷积，在9个预定义的锚点框基础上，预测边界框的类型、位置以及置信度，获得预测图像的车辆边界框角点坐标文件数据集；
[0022]对比标注的图像车辆边界框角点坐标文件数据集和预测的图像车辆边界框角点坐标文件数据集，获得误差，训练YOLO车辆检测器，直至所述误差小于设定值，获得改进YOLO车辆检测器；
[0023]所述骨干特征提取网包括1个CBL模块和13个DBR模块；所述CBL模块包括一个标准卷积层、1个批量归一化层和一个Leaky ReLU激活层；所述DBR模块包括一个深度可分离卷积层、一个批量归一化层和一个ReLU激活层组成。
[0024]优选的，步骤3中，所述相邻图像间的空间关系通过以下公式计算：
[0025][0026]其中，为图像上的特征点，R为旋转矩阵，T为平移矩阵；通过多个特征点对，计算出旋转矩阵R和平移矩阵T的实际值，获得相邻图像间的空间关系。
[0027]优选的，步骤3中，识别无效图像的过程为：
[0028](1)设原始图像序列的重叠率为IOR
max
，则优化后最低的图像重叠率为IOR
min
＝1
‑
2*(1
‑
IOR
max
)；
[0029](2)从第1张图像开始以2步间隔进行搜索，计算第i张图像和第i+2张图像组合得到的遮挡率OCR1，即两张图像车辆重叠区域占图像重叠区域的比例。同时，可以得到车辆遮挡位置以外区域的实际地面重叠率GOR1；
[0030](3)计算第i张图像、第i+1张图像和第i+2张图像组合得到的遮挡率OCR2，即三张图像车辆重叠区域占图像重叠区域的比例，同时，可以得到车辆遮挡位置以外区域的实际地面重叠率GOR2。
[0031](4)若OCR2>OCR1且GOR2>GOR1，则保留第i+1张图像，否则删除第i+1张图像。
[0032]优选的，遮挡率OCR的计算公式为：
[0033]遮挡率OCR＝两张图像叠加后仍有车辆遮挡的部分的面积/原始图像面积；
[0034]地面重叠率GOR的计算公式为：
[0035]地面重叠率GOR＝两张图像叠加后去除车辆遮挡部分的面积/原始图像面积。
[0036]优选的，步骤4中，首先将预处理图像和步骤1中图像的坐标相匹配，初步估计相机在拍摄不同照片之间的相对空间位置；提取每张图像上的特征点，并匹配相邻图像的特征点；根据特征点对和空间对极几何，反算出相机的空间坐标；根据相机空间坐标解算图像上所有特征点的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向动态交通场景的路面三维重建方法，其特征在于，包括以下步骤：步骤1，采集无人机拍摄的图像；步骤2，将拍摄的图像作为预测集图像输入至改进YOLO车辆检测器中，获得拍摄预测集图像中车辆的坐标文件；以车辆的坐标文件为基准，将预测集图像中车辆边界框内的区域单值化；步骤3，通过特征提取法获得预测集图像中相邻图像间的空间关系，通过相邻图像之间的空间关系和每张图像上的车辆边界框，计算相邻图像间的实际遮挡率和地面重叠率，结合图像序列空间优化识别无效图像，去除无效图像，获得预处理图像；结合预处理图像和图像的坐标文件，通过立体视觉重建路面三维形貌。2.根据权利要求1所述的一种面向动态交通场景的路面三维重建方法，其特征在于，步骤1前，从电子地图中提取计划拍摄路面区域的边界坐标，生成飞行区域文件，将飞行区域文件导入无人机中，无人机对计划拍摄路面区域拍摄。3.根据权利要求1所述的一种面向动态交通场景的路面三维重建方法，其特征在于，步骤2中通过改进YOLO车辆检测器获得拍摄预测集图像中车辆的坐标文件过程为：(1)将拍摄的图像以初始(512,512,3)的尺寸输入至改进YOLO车辆检测器中，初步预测出车辆边界框，并统计车辆平均像素宽度；(2)根据训练集图像上车辆平均像素宽度和预测集图像上车辆平均像素宽度的比值，计算缩放因子k；(3)通过缩放因子调节预测集图像输入尺寸为(512*k,512*k,3)，再次输入至深度学习框架，预测出最终准确的车辆边界框。4.根据权利要求1所述的一种面向动态交通场景的路面三维重建方法，其特征在于，所述改进YOLO车辆检测器的获得过程为：对骨干特征提取网中的第6层、第12层和第14层从输入的图像提取出的图像分别进行采样、拼接及特征提取，然后通过标准卷积，在9个预定义的锚点框基础上，预测边界框的类型、位置以及置信度，获得预测图像的车辆边界框角点坐标文件数据集；对比标注的图像车辆边界框角点坐标文件数据集和预测的图像车辆边界框角点坐标文件数据集，获得误差，训练YOLO车辆检测器，直至所述误差小于设定值，获得改进YOLO车辆检测器；所述骨干特征提取网包括1个CBL模块和13个DBR模块；所述CBL模块包括一个标准卷积层、1个批量归一化层和一个Leaky ReLU激活层；所述DBR模块包括一个深度可分离卷积层、一个批量归一化层和一个ReLU激活层组成。5.根据权利要求1所述的一种面向动态交通场景的路面三维重建方法，其特征在于，步骤3中，所述相邻图像间的空间关系通过以下公式计算：其中，为图像上的特征点，R为旋转矩阵，T为平移矩阵；通过多个特征点...
【专利技术属性】
技术研发人员：杨旭，管进超，李毅，洪翰，丁玲，
申请(专利权)人：长安大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。