基于多源传感器的路面施工机器人环境感知系统及方法技术方案

本发明专利技术公开了基于多源传感器的路面施工机器人环境感知系统及方法，在机器人主体上设有相机和激光雷达，机器人主体内设有嵌入式工控机，用于完成基于数据融合的多目标检测测距算法获取并融合图片数据的类别信息以及激光雷达的距离信息，再从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，最后通过动态估计变化，得到施工区域内障碍物的行进速度及运动方向，绘制风险图实现对施工区域的路面环境感知，使该系统对不同环境的适应能力明显提升，并对障碍物之间的遮挡情况在多目标检测与跟踪算法上有所改进，从而保证施工机器人的有效作业，具有良好的应用前景。

Environment Perception System and Method of Road Construction Robot Based on Multi-source Sensors

【技术实现步骤摘要】
基于多源传感器的路面施工机器人环境感知系统及方法
本专利技术属于人工智能
，具体涉及一种基于多源传感器的路面施工机器人环境感知系统及方法。
技术介绍
作为无人驾驶未来发展方向之一的全自主施工机器人，在社会生活和市场经济中均有着良好的发展前景。全自主施工机器人的整个系统一般包括负责认知周围环境风险的环境感知模块、基于周围障碍物动态信息做出合理调整的路径规划模块，以及在实施方面调动机器人完成自主驾驶的控制模块和执行模块等。其中环境感知模块是无人驾驶技术的基础，也是决定自主驾驶后续安全的关键。从传感器的角度来看，现有的传感器都存在很多问题，例如激光雷达在雨雪天会受很大影响，相机可能受雾霾影响，而且在夜晚黑暗环境中会存在较多干扰；从算法的角度来讲，许多算法对环境变化的适应性不足，以对施工区域行人的检测为例，目前基于相机的行人检测算法易受阴影和光照的影响，同时又因为缺乏相匹配的位置信息，不利于整个系统进行下一步精确的规划与控制；而基于激光雷达的障碍物检测算法因小目标存在数据稀疏的情况，无法得到足够鲁棒的检测结果。除此之外的算法虽然有些取得了较好的结果，但是远远无法满足自主行驶的实时性要求。在目标跟踪算法方面，中国专利CN109816702A提出了一种通过雷达确定目标位置，从而调整摄像机参数的方法，使其在拍摄环境不佳的情况下可以对多目标跟踪并清晰的拍摄。虽然该方法对环境的适应性有了明显提高，但却无法满足施工场景下的高实时性需求，因而如何兼顾对环境的适应性和对场景的高实时性，就成了本领域技术人员急需开发解决的问题。
技术实现思路
本专利技术正是针对现有问题，提供了基于多源传感器的路面施工机器人环境感知系统及方法，在机器人主体的顶部四个方向分别设有相机，机器人主体的前后方向分别设有激光雷达，机器人主体内设有嵌入式工控机，所述嵌入式工控机用于完成基于数据融合的多目标检测测距算法获取并融合图片数据的类别信息以及激光雷达的距离信息，再从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在联系时间内的动态估计变化，最后通过动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的路面环境感知，以基于多源传感器数据融合的方式，使该系统对不同环境的适应能力明显提升，并对障碍物之间的遮挡情况在多目标检测与跟踪算法上有所改进，最终可使用更为直观的风险图方式来对施工区域内障碍物风险等级进行评价，从而保证施工机器人的作业，具有良好的应用前景。为了实现上述目的，本专利技术采用的技术方案是：基于多源传感器数据融合的路面施工机器人环境感知系统，包括路面施工机器人主体，所述机器人主体的顶部四个方向分别设有相机，机器人主体的前后方向分别设有激光雷达，机器人主体内设有嵌入式工控机，所述相机和激光雷达分别与嵌入式工控机相连接，所述相机用于采集路面图片数据，所述激光雷达用于采集点云数据；所述嵌入式工控机用于完成基于数据融合的多目标检测测距算法获取并融合图片数据的类别信息以及激光雷达的距离信息，再从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，最后通过动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的路面环境感知。为了实现上述目的，本专利技术还采用的技术方案是：基于多源传感器的路面施工机器人环境感知方法，包括如下步骤：S1，通过相机与激光雷达，分别采集路面图片数据与点云数据；S2，通过相机与激光雷达的组合标定方式，获取相机与激光雷达坐标系间的转换矩阵；S3，基于数据融合的多目标检测测距算法获取并融合图片数据的类别信息以及激光雷达的距离信息，所述步骤进一步包括：S31，对经步骤S1相机采集到的图片数据，利用目标检测算法获取障碍物目标的二维图片检测框信息及类别信息；S32，经步骤S1激光雷达采集到的点云数据进行预处理，通过地面分割得到非地面点云集，再经过欧几里得聚类，得到障碍物点云数据的三维检测框信息和距离信息；S33，利用步骤S2得到的转换矩阵，将三维点云坐标信息转换为二维像素坐标投影到二维图片上，获得数据融合后的图片结果；S34，根据二维图片检测框边界信息，对投影到其边界内的三维点云依照距离信息统计，并将统计结果中的远距离背景部分滤除，确定点云聚类结果中与二维检测框内物体匹配的三维检测框，进而分别得到基于图像数据以及点云信息的检测测距结果；S4，利用步骤S3获得的检测测距结果，从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，其中对图片数据采用HSV颜色空间作为粒子滤波算法的观测特征，对点云数据采用点云强度信息作为观测特征，分别实现基于图像数据和点云数据的目标跟踪；S5，利用步骤S4获得的动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的风险评估。作为本专利技术的一种改进，所述步骤S2中采用张正友棋盘格标定法获得相机的内参矩阵，通过多棋盘格标定的方式选取二维图像与三维点云匹配的特征角点，利用最小二乘法求出相机与激光雷达坐标系间的最优转换矩阵。作为本专利技术的一种改进，所述步骤S32中，地面点云分割的方法为：判断同一列激光束所获得的相邻点云之间的坡度与设定坡度阈值的大小关系，若相邻点的坡度值比设定阈值小，则判断该点为地面点，从而可滤除属于地面部分的点云，遍历每一根射线后，即可得到地面点的全部点云，所述坡度计算公式为：其中，为XOY平面的单位法向量，Pi与Pj为两个相邻点。作为本专利技术的另一种改进，所述步骤S4中对图片数据采用HSV颜色空间作为观测特征的粒子滤波算法，进一步包括如下步骤：S41，选择第一帧具有二维检测框信息的数据作为目标的初始状态，在初始化粒子信息后，提取颜色特征并计算颜色分布；S42，在计算完初始二维检测框内的目标颜色分布后，将初始化后的粒子随机扩散，计算在新位置处以该粒子为中心的预测区域的新的颜色分布,计算原目标的参考直方图与候选目标颜色直方图的相似度；S43，通过步骤S42的相似度，得到颜色特征的观测似然函数，若观测似然函数值越大，那么候选目标与参考目标的颜色越相似，则候选目标判定为是实际目标的可能性就越大；S44，将预测得到的目标中心点与当前时刻里存在的二维检测框中心点的距离进行比较，将其中距离最近的二维检测框作为预测目标信息输出，并根据当前时刻的粒子权重分布进行重采样操作，进行矫正预测目标的大小及位置信息。作为本专利技术的另一种改进，所述步骤S4中对点云数据采用点云强度信息作为观测特征的粒子滤波算法步骤，与对图片数据采用HSV颜色空间作为观测特征的粒子滤波算法步骤相同。作为本专利技术的更进一步改进，所述步骤S5进一步为：根据目标跟踪的结果可以确定同一目标在连续时间的位置变化，获得新时刻该目标的运动方向，根据该时间内目标的运动距离计算出运动速度，采用高斯建模方式对目标进行风险估计图的绘制，从而设置施工机器人的避障距离，由控制模块作出避障措施。与现有技术相比，本专利技术公开了一种基于多源传感器的路面施工机器人环境感知系统及方法，对施工区域可形成全面覆盖，且满足施工过程的较高实时性需求。通过对相机、激光雷达传感器数据进行处理本文档来自技高网...

【技术保护点】
1.基于多源传感器数据融合的路面施工机器人环境感知系统，包括路面施工机器人主体，其特征在于，所述机器人主体的顶部四个方向分别设有相机，机器人主体的前后方向分别设有激光雷达，机器人主体内设有嵌入式工控机，所述相机和激光雷达分别与嵌入式工控机相连接，所述相机用于采集路面图片数据，所述激光雷达用于采集点云数据；所述嵌入式工控机用于完成基于数据融合的多目标检测测距算法，获取并融合图片数据的类别信息以及激光雷达的距离信息，再从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，最后通过动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的路面环境感知。

【技术特征摘要】
1.基于多源传感器数据融合的路面施工机器人环境感知系统，包括路面施工机器人主体，其特征在于，所述机器人主体的顶部四个方向分别设有相机，机器人主体的前后方向分别设有激光雷达，机器人主体内设有嵌入式工控机，所述相机和激光雷达分别与嵌入式工控机相连接，所述相机用于采集路面图片数据，所述激光雷达用于采集点云数据；所述嵌入式工控机用于完成基于数据融合的多目标检测测距算法，获取并融合图片数据的类别信息以及激光雷达的距离信息，再从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，最后通过动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的路面环境感知。2.基于多源传感器的路面施工机器人环境感知方法，其特征在于，包括如下步骤：S1，通过相机与激光雷达，分别采集路面图片数据与点云数据；S2，通过相机与激光雷达的组合标定方式，获取相机与激光雷达坐标系间的转换矩阵；S3，基于数据融合的多目标检测测距算法获取并融合图片数据的类别信息以及激光雷达的距离信息，所述步骤进一步包括：S31，对经步骤S1相机采集到的图片数据，利用目标检测算法获取障碍物目标的二维图片检测框信息及类别信息；S32，经步骤S1激光雷达采集到的点云数据进行预处理，通过地面分割得到非地面点云集，再经过欧几里得聚类，得到障碍物点云数据的三维检测框信息和距离信息；S33，利用步骤S2得到的转换矩阵，将三维点云坐标信息转换为二维像素坐标投影到二维图片上，获得数据融合后的图片结果；S34，根据二维图片检测框边界信息，对投影到其边界内的三维点云依照距离信息统计，并将统计结果中远距离背景部分的点云滤除，确定点云聚类结果中与二维检测框内物体匹配的三维检测框，进而分别得到基于图像数据以及点云信息的检测测距结果；S4，利用步骤S3获得的检测测距结果，从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，其中对图片数据采用HSV颜色空间作为粒子滤波算法的观测特征，对点云数据采用点云强度信息作为观测特征，分别实现基于图像数据和点云数据的目标跟踪；S5，利用步骤S4获得的动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的风险评估。3.如权利要求2所述的基...

【专利技术属性】
技术研发人员：李煊鹏，赵靖文，李宇杰，薛启凡，罗佳奕，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32