面向压路机施工过程的障碍物识别测距系统及方法技术方案

本发明专利技术公开了一种面向压路机施工过程的障碍物识别测距系统及方法，系统包括嵌入式工控机，压路机的驾驶舱顶部四周设置有工业相机，压路机的前侧与后侧分别设置激光雷达，所述工业相机和激光雷达均与工控机连接，所述工业相机和激光雷达之间通过ROS系统建立节点间通信。采用本系统测距方法融合图像与点云数据，实现压路机施工过程中的障碍物识别测量，该系统具有施工环境全覆盖、目标识别准确率高、障碍位置测量精度高、实时性优、抗干扰能力强的特点，适合无人压路机施工作业。

【技术实现步骤摘要】
面向压路机施工过程的障碍物识别测距系统及方法
本专利技术涉及一种障碍物识别测距系统及方法，具体涉及一种面向压路机施工过程的障碍物识别测距系统及方法。
技术介绍
机器视觉是利用视觉传感器获取图片并利用图像处理系统进行各种测量和判断，是计算机学科的一个重要分支，综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。在自动驾驶系统的研究中，目标检测与测距是自动驾驶系统的重要组成部分，直接影响了整个系统的安全性和可靠性，因此对其实时性以及准确性提出了较高的要求。而相对于汽车的自动驾驶系统来说，压路机施工环境要素相对较少，需识别的障碍物包括施工人员、车辆、设施等。然而，施工区域内障碍物识别准确性要求高，障碍物检测与测距的准确性将直接影响施工过程的安全性。现有的目标测距技术大致可以分为两类，一类是基于视觉的目标测距方法，利用摄像头等图像传感器获取图像数据计算目标距离，常用的是双目测距方法；另一类是利用毫米波雷达、激光雷达、超声波、红外线等传感器直接进行距离测量。其中，超声波、红外线测距由于其在复杂环境下的适应性与稳定性较低，因此在自动驾驶系统中的应用不多。毫米波雷达在现有自动驾驶系统中运用较多，但其成本较高。而单独依靠双目摄像头或者激光雷达进行测距，存在易受外界复杂环境影响，导致测量精度较低等问题。中国CN104966064A提出了一种基于视觉的前方行人测距方法，该方法中单独依靠图像数据实现前方行人测距，对图像处理技术要求严格，测量精度也受到图像处理技术的限制；中国专利2903176U提出了一种激光辅助机器视觉测距装置，在该装置中使用的是激光点源发射装置，虽然在一定程度上减小了计算量，提高了响应速度，但其测量精度不能满足施工过程要求。
技术实现思路
专利技术目的：本专利技术的目的是提供一种面向压路机施工过程的障碍物识别测距系统及方法，解决碍物识别不准，测量精度低的问题。技术方案：本专利技术所述的面向压路机施工过程的障碍物识别测距系统，包括嵌入式工控机，压路机的驾驶舱顶部四周设置有工业相机，压路机的前侧与后侧分别设置激光雷达，所述工业相机和激光雷达均与工控机电连接，所述工业相机和激光雷达之间通过ROS系统建立节点间通信。其中，所述激光雷达为16线激光雷达。本专利技术所述的面向压路机施工过程的障碍物识别测距系统的测距方法，包括以下步骤：(1)采集压路机施工行进方向图像数据和激光点云数据，利用相机激光联合标定方法，获得激光和相机之间的转移矩阵；(2)由压路机行进方向的控制信号开启激光雷达与相机，利用图像检测方法对图像数据实时在线目标检测，获得障碍物图像位置信息与类别信息；(3)对步骤(1)中得到的点云数据进行滤波处理，投影到相机采集的图像中，获得对应的像素位置，并根据障碍物在图像中的检测边界，确定目标的三维点云数据；(4)通过工作的激光雷达和压路机行进方向前侧轮之间的位置关系，利用获取的障碍物对应点云计算其相对压路机距离。其中，所述步骤(1)中相机标定采用张正友标定算法，得到相机的内参矩阵，相机与激光间标定通过标记点匹配方法，即记录视频关键帧以及其对应激光点云数据中相应的若干特征点坐标，采用梯度下降法求解出特征点间的最优转换矩阵。所述步骤(2)具体为：先利用标定后的工业相机采集大量压路机施工区域的图像数据，制作深度神经网络模型训练数据集，标记图像中障碍物的像素坐标以及障碍物种类，然后通过深度学习对压路机施工环境数据集进行模型训练，利用输出模型实现多目标的实时检测，通过ROS节点发布障碍物的像素坐标以及类别信息。所述步骤(3)中具体为：首先通过移除地面反射点云数据对点云数据进行滤波处理，然后根据步骤(1)所得的转换坐标矩阵，建立三维点云数据坐标与二维图像坐标转换关系将点云数据投影到二维图像上。所述步骤(4)具体为：首先将点云数据通过坐标转换投影到对应的图像帧中，提取图像帧中相应的障碍物检测框内的点云数据坐标，然后根据激光雷达的安装角度，对提取的点云坐标进行坐标转换，.进而确定激光雷达和压路机行进方向前侧轮之间的位置关系，获得障碍物相对压路机距离。有益效果：本专利技术融合图像与点云数据，实现压路机施工过程中的障碍物识别测量，该系统具有施工环境全覆盖、目标识别准确率高、障碍位置测量精度高、实时性优、抗干扰能力强的特点，适合无人压路机施工作业。附图说明图1为本专利技术的系统结构示意图；图2为本专利技术测距方法流程示意图；图3为本专利技术障碍物距离解算示意图。具体实施方式下面结合附图对本专利技术进行进一步说明。如图1-3所示，面向压路机施工过程的障碍物识别测距系统，包括两台16线激光雷达、四台工业相机和一台接入压路机施工指令的嵌入式工控机。压路机1的驾驶舱内架设工控机2，在压路机的驾驶舱顶部四周安装用于获取压路机施工区域图像信息的工业相机3，压路机1的前侧与后侧分别设置16线激光雷达4。相机与激光雷达分别通过工控机的扩展网口与工控机连接，相机与激光雷达之间通过RobotOperatingSystem(ROS)系统建立节点间通信。采用该系统测距的方法，首先通过系统采集压路机行进方向图像数据和激光点云数据，利用相机激光联合标定方法，获得激光和相机之间的转移矩阵。其次，由压路机行进方向的控制信号开启前/后向的激光雷达与相机，利用图像检测方法对图像数据实时在线目标检测，获得障碍物图像位置信息与类别信息。然后，将通过滤波处理的点云数据投影到图像中，获得对应的像素位置，并根据障碍物在图像中的检测边界，确定目标的三维点云数据。最后，通过工作的激光雷达和压路机行进方向前侧轮之间的位置关系，利用获取的障碍物点云数据，计算其相对压路机距离。相机标定采用张正友标定算法，得到相机的内参矩阵，相机与激光间标定通过标记点匹配方法，即记录图像关键帧以及其对应激光点云数据中相应的若干特征点坐标，采用梯度下降法求解出特征点间的最优转换矩阵。其中相机与激光雷达间的数据融合的过程，主要包括图像数据与激光点云数据同步，根据时间戳同步图像与点云数据；点云数据滤波处理，移除地面反射点云数据；.根据相机与激光雷达联合标定所得的转换坐标矩阵，建立三维点云数据坐标与二维图像坐标转换关系。压路机行进方向上障碍物的测距方法，主要包括：将点云数据通过坐标转换投影到对应的图像帧中；提取视频帧中相应的目标检测框内的点云数据坐标；根据激光雷达的安装角度，对提取的点云坐标进行坐标转换；确定激光雷达和压路机行进方向前侧轮之间的位置关系，获得障碍物相对压路机距离。其中，相机的标定包括以下步骤具体为：a.制作方格数量为5×7的棋盘格标定板，其中每个方格大小为10cm×10cm；b.通过相机采集多张不同角度下的棋盘格图像，采用张正友标定算法计算出相机内部参数；其标定原理为图像上一个像素点坐标为m＝(u，v)T，其对应的标定板上某一点的空间坐标为M＝(x，y，z)T，它们对应的齐次坐标分别为则满足下列关系式：式1-1中，R，t分别表示相机的旋转矩阵和平移矩阵，即为相机的外参数矩阵；s为尺度因子；K为相机的内参数矩阵，其中fx，fy为相机焦距，cx，cy为相机的主点。假设世界坐标系xy平面与标定板平面重合，即z＝0，则对于标定板上的点存在下列关系：由式1-2可本文档来自技高网...

【技术保护点】
1.一种面向压路机施工过程的障碍物识别测距系统，其特征在于，包括嵌入式工控机，压路机的驾驶舱顶部四周设置有工业相机，压路机的前侧与后侧分别设置激光雷达，所述工业相机和激光雷达均与工控机连接，所述工业相机和激光雷达之间通过ROS系统建立节点间通信。

【技术特征摘要】
1.一种面向压路机施工过程的障碍物识别测距系统，其特征在于，包括嵌入式工控机，压路机的驾驶舱顶部四周设置有工业相机，压路机的前侧与后侧分别设置激光雷达，所述工业相机和激光雷达均与工控机连接，所述工业相机和激光雷达之间通过ROS系统建立节点间通信。2.根据权利要求1所述的面向压路机施工过程的障碍物识别测距系统，其特征在于，所述激光雷达为16线激光雷达。3.采用如权利要求1所述的面向压路机施工过程的障碍物识别测距系统的测距方法，其特征在于，包括以下步骤：(1)采集压路机施工行进方向图像数据和激光点云数据，利用相机激光联合标定方法，获得激光和相机之间的转移矩阵；(2)由压路机行进方向的控制信号开启激光雷达与相机，利用图像检测方法对图像数据实施在线目标检测，获得障碍物图像位置信息与类别信息；(3)对步骤(1)中得到的点云数据进行滤波处理，投影到相机采集的图像中，获得对应的像素位置，并根据障碍物在图像中的检测边界，确定目标的三维点云数据；(4)通过工作的激光雷达和压路机行进方向前侧轮之间的位置关系，利用获取的障碍物对应点云数据计算其相对压路机距离。4.根据权利要求3所述的面向压路机施工过程的障碍物识别测距系统的测距方法，其特征在于，所述步骤(1)中相机标定采用张正友标定算法，得到相机的内参矩阵，相机与激...

【专利技术属性】
技术研发人员：李煊鹏，李宇杰，薛启凡，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32