一种基于感知的无人驾驶运输车辆指点停靠方法技术

本发明专利技术属于自动驾驶技术领域，具体公开了一种基于感知的无人驾驶运输车辆指点停靠方法，包括：生成彩色点云，并生成场景地图；对彩色点云分割；对非地面点云进行聚类；对目标类簇进行栅格占用计算生成栅格占用图；生成同心圆可停靠区域；获得采掘车辆的铲位推进方向，在同心圆可停靠区域中生成该运输车辆在当前装载区的多个可停靠位置；最优停靠位推荐，与彩色点云地图同时显示；本发明专利技术方法具有如下优点：无需铲斗等待在指定位置进行指点，提高了生产效率；结合了三维信息和颜色信息，能够更好地保证停靠位的精度；能够针对装载区土石方场景变化计算铲位推进方向，以便确定采掘的作业方向，实现真正的采掘、运输全无人自动作业。运输全无人自动作业。运输全无人自动作业。

【技术实现步骤摘要】
一种基于感知的无人驾驶运输车辆指点停靠方法


[0001]本专利技术涉及自动驾驶
，具体而言，涉及一种基于感知的无人驾驶运输车辆指点停靠方法。

技术介绍

[0002]自动驾驶运输车辆运行在特定的场景例如矿区、港口、封闭园区等，从装载点到卸载点的过程属于端到端的形式，装卸载端的执行效率和精度影响着整个流程的自动化程度，在矿区场景下，装载区的场景随着土石方的推移有着较为频繁的变化，仍需人工干预的环节包括铲位推进、指引运输车辆停靠、物料铲装、铲位环境清理等。其中指引运输车辆停靠需要对采掘场景进行理解，并实现采掘车辆与运输车辆的交互，也是实现无人化和自动化的重要环节。
[0003]在指引运输车辆停靠的过程中，采掘车辆需要根据铲位环境及推进计划规划出适合车辆停靠的位置，该位置需要保证不影响采掘车辆正常作业，且能够在较少移动的距离内完成预定体积的物料装载工作。该停靠位置继而需要下发给正在等待入场的运输车辆，并发送允许驶入指令。运输车辆在收到指令和位置点后控制车辆停靠到停靠点所标识的停靠区域，在此过程中仅靠停靠点无法完成精准停靠，需要采掘车辆提供准确的停靠位置，包括航向角、长宽、中心点等。
[0004]目前业界常用的停靠位表示方式仅包括坐标点和航向信息，考虑到运输车辆的定位和控制误差，无法对运输车辆施加较为全面的约束。此外停靠点的计算也多采用固定回转中心和铲臂长度结合的方式，由于回转中心的测量和铲臂伸缩的误差，无法计算出较为精确的停靠点，也无法保证停靠车辆与采掘车辆的精确距离。容易出现停靠不到位、停靠越界的情况，需要进行二次泊车，极大影响采装效率。
[0005]故采用一种更为精确和高效的运输车辆停靠位生成方法是提升矿区自动驾驶运营效率的瓶颈所在。目前的研究方向包括基于RTK差分定位的几何包络框计算、基于视觉或者激光雷达等传感器的辅助信息指点方法、基于预设锚点参考的方式进行辅助指点方法等。
[0006]在现有停靠位生成方法中，通过铲臂固定长度进行指点的方式应用较多，即通过采掘车辆的回转中心和采掘臂的固定长度计算得到铲斗的位置，但电铲/挖机几何回转中心无法准确测量，铲臂的伸缩长度及铲斗的位置不固定，采掘车辆的回转中心到铲斗的距离进行指点的方式输出的定位点精度较差，且由于铲斗指点无航向角输出和停靠位轮廓输出，运输车辆仅依靠停靠点无法实现精准停靠，本专利技术采用的传感器可以输出准确的距离与尺寸信息，严格保证生成的停靠位在预设范围内。
[0007]此外有基于单目相机和双目相机进行人机交互指点的方式，单目相机的优势在于价格低廉，且可选类型较多，适配性能好，便于采掘司机通过图像观察铲位周围情况，并快速给出停靠点，但缺点在于其难以提供较为准确的距离信息，停靠点的误差较大。如图2所示，单目相机由于畸变系数及传感器本身性能限制，将网格框的6个边界点，表示为图中圆
圈指点，实际输出的经纬度位置分别对应方框1～6所示物体，横纵向均有不同程度的偏差。
[0008]此外采用双目相机指点方法可以提供较为准确的距离信息，如图2，图3在操作时需要设置锚点作为靶标，对于预设点的距离输出可满足精度要求，但由于图像视角及呈现方式只包含二维信息，在图像上指出相对准确的停靠点必须强依赖锚点或者靶标，在实际工程应用中较为繁琐。
[0009]同时对于远程操控或无人操控的铲装车辆，铲斗、图像指点的操作性较差，指点过程效率较低，占用电铲司机及采掘车辆操作时间，在车辆交替间隙无法有效进行铲位推进。且固定长度指点精度不足，导致停靠过近有碰撞风险，停靠过远无法装满物料，重新停靠调整严重影响生产效率，本专利技术提出的停靠位自动生成算法，可有效提高采装车辆的自主作业效率。
[0010]由前述可知，基于单目相机进行指点的方式无法提供较为准确的距离信息，在此基础上采用双目相机仍无法解决二维坐标下与三维世界的映射问题，双目相机本身的测距精度的提升无法弥补在指点的过程中人机交互的二维视角下无尺度参考造成的误差，因此需要可以提供三维信息的激光雷达作为数据输入，解决停靠位距离及尺寸精度问题。
[0011]综上所述，通过铲臂固定值进行指点的方式与借助单传感器进行辅助指示停靠的方式均有一定程度上的误差和缺陷；为此提出一种基于感知的无人驾驶运输车辆指点停靠方法，以解决上述提出的问题。
[0012]本专利技术在现有方法基础上，融合激光雷达点云和单目相机的信息，实时对铲窝环境进行地图构建，在三维坐标系下呈现给采掘司机或自动装载系统，并对场景中的地面和非地面的山体、沟壑进行分割，通过聚类与栅格占用分析生成可停靠区域，配合停靠位自动生成算法，实现更高效率的自动驾驶运输车辆停靠位生成。

技术实现思路

[0013]本专利技术旨在提供一种基于感知的无人驾驶运输车辆指点停靠方法，以解决或改善上述问题。具体例如将采掘车辆的铲斗直接举升到停靠位的上方，模拟装载时与停靠车辆的相对位置，并给出通过采掘车辆与运输车辆尺寸信息计算得到的指示停靠点，需要操纵采掘车辆，完全依靠人工把控精度的问题；或在人机交互屏幕上加载实时图像，在图像上进行手动虚拟指点，再将该点转换到WGS84坐标系下，受限于二维图像的固定视角，指出的点无法很好地映射到真实世界中的相关问题。
[0014]有鉴于此，本专利技术的第一方面在于提供一种基于感知的无人驾驶运输车辆指点停靠方法。在该技术方案中，通过融合图像和激光雷达点云数据，在装载区进行实时建图、地面分割、障碍物聚类、栅格占用、可停靠区域提取、停靠位生成等计算，为操作人员或指点系统提供更加精确的环境与参考信息；
[0015]具体包括如下步骤：
[0016]S1，实时采集装载区采掘车辆周围的三维点云数据、二维图像数据、GPS/IMU数据融合生成UTM坐标系下的彩色点云，并根据彩色点云构建点云地图发送至显示端；
[0017]S2，对所述彩色点云进行地面点云和非地面点云分割，针对非地面点通过聚类、栅格占用输出栅格占用图，同时通过运输车辆和采掘车辆的几何信息对背景点云进行范围划定，生成供运输车辆行驶的同心圆可停靠区域；
[0018]S3，对不同采掘周期构建的彩色点云地图进行比较，通过背景差分操作获得采掘车辆的铲位推进方向，并同时考虑运输车辆的尺寸、采掘车辆装车的最小回转角度，结合预设锚框，在所述同心圆可停靠区中生成该运输车辆在当前装载区的多个可停靠位置；
[0019]S4，对多个所述可停靠位置进行基于规则的优劣筛选，输出最优可停靠位置至显示端，并与S1所述彩色点云地图同时显示；
[0020]S5，若此时采掘车辆尚未完成清理任务则采用S4中得到的最优可停靠位置，并至此结束；若此时采掘车辆已完成清理任务，则按照铲斗悬停指点的方式生成停靠框，计算铲斗彩色点云簇的中心点，对应停靠框的中心点，在该中心点周围基于S3生成的多个可停靠位置进行搜索，输出最优可停靠位置框。
[0021]本专利技术提供的一种基于感知的无人驾驶运输车辆指点停靠方法，分别采用装载区中采掘车辆周围环境距离的三维数据以及图像的颜色数据，并进行融合生成带有色彩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，包括如下步骤：S1，实时采集装载区采掘车辆周围的三维点云数据、二维图像数据、GPS/IMU数据融合生成UTM坐标系下的彩色点云，并根据彩色点云构建点云地图发送至显示端；S2，对所述彩色点云进行地面点云和非地面点云分割，针对非地面点通过聚类、栅格占用输出栅格占用图，同时通过运输车辆和采掘车辆的几何信息对背景点云进行范围划定，生成供运输车辆行驶的同心圆可停靠区域；S3，对不同采掘周期构建的彩色点云地图进行比较，通过背景差分操作获得采掘车辆的铲位推进方向，并同时考虑运输车辆的尺寸、采掘车辆装车的最小回转角度，结合预设锚框，在所述同心圆可停靠区中生成该运输车辆在当前装载区的多个可停靠位置；S4，对多个所述可停靠位置进行基于规则的优劣筛选，输出最优可停靠位置至显示端，并与S1所述彩色点云地图同时显示；S5，若此时采掘车辆尚未完成清理任务则采用S4中得到的最优可停靠位置，并至此结束；若此时采掘车辆已完成清理任务，则按照铲斗悬停指点的方式生成停靠框，计算铲斗彩色点云簇的中心点，对应停靠框的中心点，在该中心点周围基于S3生成的多个可停靠位置进行搜索，输出最优可停靠位置框。2.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述非地面点云包括：彩色点云所对应装载区内的障碍物、挡土墙、地面凸起和地面凹坑；所述地面点云为彩色点云中除非地面点云的所有点云；所述几何信息包括：采掘车辆的铲斗最远回转半径、运输车身尺寸，运输车辆的车头航向。3.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述的生成供运输车辆行驶的同心圆可停靠区域的步骤，具体包括：对所述彩色点云进行分割，获得地面点云、非地面点云；对所述非地面点云进行聚类，以降低非地面点云中的噪点，生成独立的点云类簇；对所述点云类簇进行栅格占用计算，进而根据非占用区域生成拟可停靠区域；对所述地面凸起和凹陷区域、拟可停靠区域进行合并，同时参考采掘车辆最远回转半径、最小包络框，生成同心圆可停靠区域。4.根据权利要求3所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，对所述彩色点云进行分割的步骤，具体包括：采用基于栅格高度差的地面分割方法，根据栅格梯度和点云高度实时对地面点与非地面点进行分割；首先进行直通滤波，将分割范围限定在指定区域内；创建极坐标下的点云栅格地图：计算每个点到原点的距离，对其进行归一化，对极坐标下的每个栅格进行遍历，更新栅格高度值；通过零填充方式应用高斯核进行平滑；计算相邻格子之间的高度差，此处的相邻包括左相邻与右相邻；判断每个格子的平滑程度、高度值、高度差值，并将满足阈值要求的栅格属性初步更新为地面点所在栅格；对每个地面点所在格子应用中值滤波和离群点滤波。5.根据权利要求3所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在
于，所述的对所述非地面点云进行聚类的步骤，具体包括：针对分割后的非地面点，采用了八邻域网格搜索聚类方法，对非地面点进行聚类；对于输入的非地面点进行零值填充，再将每个点映射到笛卡尔坐标系中，完成栅格化转换，统计落在当前栅格的点数并赋予特定标识创建点簇分布图并为所有非空的点簇分配ID；将非地面点云按照比例投影到笛卡尔坐标系下；以笛卡尔坐标系为原点，遍历搜索类簇起始点，将其转换为点簇分布图，同时计算滑动核尺寸；对每个点周围按照滑动核尺寸进行遍历，在八邻域范围内搜索到点云则...

【专利技术属性】
技术研发人员：王杰，段星集，武奇，张飞，夏启，
申请(专利权)人：北京踏歌智行科技有限公司，
类型：发明
国别省市：