【技术实现步骤摘要】
本专利技术属于无人控制系统，具体涉及一种机器视觉与激光雷达融合的障碍物检测方法。
技术介绍
1、随着城市规模的高速扩张，载客量大、运送效率高、能源消耗低的城市轨道交通已经成为缓解城市交通拥堵问题的必然选择。城市轨道交通全自动运行系统由于其可靠性高，准点率高并支持无人驾驶等特点，被各城市广泛应用。全自动运行系统在goa3-4级(无固定驾驶员)情况下，无法依赖驾驶员瞭望保证净空安全，因此开展无人驾驶城轨列车前向障碍物检测技术研究已迫在眉睫。
2、中国专利公开号cn115100292a，专利技术名称为《一种道路环境的激光雷达和相机之间外参在线标定方法》，主要提供了在道路环境下利用多帧滑动窗口约束标定激光雷达和相机之间外参的方法。通过构建相机和激光雷达数据2d-3d的关联关系，使用误差构建方法，获得非线性优化的优化目标，进行后端优化，维护一个帧数固定的滑动窗口，每次优化通过激光雷达位姿构建帧间的相互投影，该方法能够很好地计算激光雷达和相机的外参矩阵。但是该方法需要通过棋盘格标志物对激光雷达和相机之间的外参进行离线标定，作为在线标定的外参初始值，这大大降低了无人驾驶列车的自动化程度。
3、一般城市轨道交通(如地铁)需要的防护距离在300m以上，相对于小汽车普遍从100kmph刹车，50m左右的制动距离，需要感知的距离是其6倍。在这个尺度空间上，单纯的视觉感知对象往往只有几个像素，已在汽车领域应用的深度学习模型无法保证其识别的准确率，且纯图像深度估计的方法在300m尺度空间上误差较大。激光雷达虽然可以精确的获得深度，
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点与不足，提供一种机器视觉与激光雷达融合的障碍物检测方法，目的在于基于图像和点云数据的融合处理，识别列车前方的障碍物特征、距离、与线路的关系，实现列车(地铁)前向线路净空范围内的障碍物准确检测和距离获取。
2、本专利技术提供了一种机器视觉与激光雷达融合的障碍物检测方法，具体步骤如下：
3、步骤1：获取列车前方图像，基于图像标定目标；
4、步骤2：使用残差结构提取列车前方图像的特征图和图像特征；
5、步骤3：使用panet多尺度特征金字塔处理步骤2获得的特征图，获得最终特征图；
6、步骤4：基于最终征图，使用列车前向多目标检测网络的giou loss函数获取图像的giou结果作为视觉目标检测结果；
7、步骤5：获取列车前方的3d激光点云数据，基于3d激光点云数据获得点云目标检测结果；
8、步骤6：使用卷积神经网络提取点云目标检测结果中的目标，并将提取的目标映射到视觉目标检测结果中进行验证；获得目标的距离信息、类别和位置信息。
9、可选地，通过位于列车前端的摄像头捕捉列车前方的rgb图像。
10、可选地，在图像中生成多个锚框；使用锚框标定目标。
11、可选地，使用残差结构的一个或多个卷积层对输入图像进行特征提取获得特征图；将特征图输入残差结构的残差块获得图像特征。
12、可选地，步骤3中的panet多尺度特征金字塔的构建方法为：在金字塔网络fpn中获得的特征金字塔的多个尺度；在特征金字塔的每个尺度上集成panet模块，获得panet多尺度特征金字塔。
13、可选地，panet模块包括路径聚合模块、特征自适应模块和多尺度融合。
14、可选地，步骤4中使用列车前向多目标检测网络的giou loss函数获取图像的giou作为视觉目标检测结果的具体步骤为：
15、基于最终征图，使用giou loss函数计算步骤1中图像中多个锚框中两个相交框的最小闭包区域面积；
16、计算包括两个相交框的最大闭包区域中都不属于两个框的区域占最大闭包区域面积的面积比重；
17、基于两个相交框的最小闭包区域面积计算iou值；
18、用iou值减去面积比重获得图像的giou结果。
19、可选地，步骤5中获取列车前方的3d激光点云数据，基于3d激光点云数据获得点云目标检测结果的具体步骤为：
20、步骤51：通过位于列车前端的雷达捕捉列车前方的3d激光点云数据；
21、步骤52：对3d激光点云数据进行变换和扩充处理获得增强点云数据；
22、步骤53：将增强点云数据离散为x-y平面上均匀间隔的网格；在网格上创建pillar体素；
23、步骤54：基于步骤53创建的pillar体素的网格生成稀疏伪图像；
24、步骤55：使用二维cnn骨干网络对生成的稀疏伪图像进行卷积、上采样和拼接获得最终特征；
25、步骤56：将步骤55输出的最终特征作为输入传入ssd检测头，得到各个锚框位置的预测和每个类别的概率分数预测的点云目标检测结果。
26、可选地，步骤6中使用卷积神经网络提取点云目标检测结果中的目标，并将提取的目标映射到视觉目标检测结果中进行验证；获得目标的距离信息、类别和位置信息的具体步骤为：
27、步骤61：融合步骤4获得的视觉目标检测结果与步骤5获得的点云目标检测结果进行验证；获得输出有效目标信息；
28、步骤62：基于获得输出有效目标信息，融合步骤4获得的视觉目标检测结果与步骤5获得的点云目标检测结果，进行目标的识别，获得目标的距离信息、类别和位置信息。
29、与现有技术相比，本专利技术至少具有现如下有益效果：
30、(1)本专利技术的方法基于yolov5的列车前向多目标检测，首先在图像中生成若干锚框，根据锚框回归出目标的长宽和障碍物在图像中所占的相对空间范围，并通过多尺度金字塔特征模块来进行不同尺度的目标检测，提高了检测精度。
31、(2)本专利技术的方法基于pointpillars网络的点云目标检测网络来实现轨道列车前向目标检测，只使用2d卷积进行端到端的学习。这种方法有几个优点：首先，通过学习特性而不是依赖于固定的编码器，pointpillars利用点云所代表的全部信息；此外，通过在柱子上而不是体素上操作，不需要手动调整垂直方向的装箱；最后，柱子是非常高效的，因为所有关键操作都可以被表述为2d卷积，这种处理方法非常高效快速。
本文档来自技高网...【技术保护点】
1.一种机器视觉与激光雷达融合的障碍物检测方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的障碍物检测方法，其特征在于，通过位于列车前端的摄像头捕捉列车前方的RGB图像。
3.根据权利要求1所述的障碍物检测方法，其特征在于，在图像中生成多个锚框；使用锚框标定目标。
4.根据权利要求1所述的障碍物检测方法，其特征在于，使用残差结构的一个或多个卷积层对输入图像进行特征提取获得特征图；将特征图输入残差结构的残差块获得图像特征。
5.根据权利要求1所述的障碍物检测方法，其特征在于，步骤3中的PAnet多尺度特征金字塔的构建方法为：在金字塔网络FPN中获得的特征金字塔的多个尺度；在特征金字塔的每个尺度上集成PAnet模块，获得PAnet多尺度特征金字塔。
6.根据权利要求5所述的障碍物检测方法，其特征在于，PAnet模块包括路径聚合模块、特征自适应模块和多尺度融合。
7.根据权利要求1所述的障碍物检测方法，其特征在于，步骤4中使用列车前向多目标检测网络的GIOUloss函数获取图像的GIOU作为视觉目标检测结果
8.根据权利要求1所述的障碍物检测方法，其特征在于，步骤5中获取列车前方的3D激光点云数据，基于3D激光点云数据获得点云目标检测结果的具体步骤为：
9.根据权利要求1所述的障碍物检测方法，其特征在于，步骤6中使用卷积神经网络提取点云目标检测结果中的目标，并将提取的目标映射到视觉目标检测结果中进行验证；获得目标的距离信息、类别和位置信息的具体步骤为：
...【技术特征摘要】
1.一种机器视觉与激光雷达融合的障碍物检测方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的障碍物检测方法，其特征在于，通过位于列车前端的摄像头捕捉列车前方的rgb图像。
3.根据权利要求1所述的障碍物检测方法，其特征在于，在图像中生成多个锚框；使用锚框标定目标。
4.根据权利要求1所述的障碍物检测方法，其特征在于，使用残差结构的一个或多个卷积层对输入图像进行特征提取获得特征图；将特征图输入残差结构的残差块获得图像特征。
5.根据权利要求1所述的障碍物检测方法，其特征在于，步骤3中的panet多尺度特征金字塔的构建方法为：在金字塔网络fpn中获得的特征金字塔的多个尺度；在特征金字塔的每个尺度上集成panet模块，获得panet多...
【专利技术属性】
技术研发人员：周彬，杨洋，刘文韬，陈镇华，余贵珍，张俊杰，张骏，
申请(专利权)人：北京航空航天大学合肥创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。