双模态特征融合的无人驾驶压路机避障方法及系统技术方案

本发明专利技术为双模态特征融合的无人驾驶压路机避障方法及系统，设置第一安全范围和第二安全范围，第二安全范围小于第一安全范围，在无人驾驶压路机车身前后左右均安装双目相机和毫米波雷达用于避障，两个安全范围为根据不同车速可控可调的变量。通过目标识别算法识别出障碍物的具体特征；设置了两个安全范围，相对于传统的“测障即停”的避障策略，提高了无人驾驶压路机安全性；将安全范围的设定与实时车速挂钩，即车速越大，安全范围设置越大，避免了单一设定安全范围造成停车不及时的安全隐患和驻车过慢造成的时间浪费。驻车过慢造成的时间浪费。驻车过慢造成的时间浪费。

【技术实现步骤摘要】
双模态特征融合的无人驾驶压路机避障方法及系统


[0001]本专利技术涉及无人驾驶压路机
，尤其涉及一种双模态特征融合的无人驾驶压路机避障方法及系统。

技术介绍

[0002]随着科技水平的进步与发展，无人驾驶技术开始广泛应用于施工领域。在无人驾驶压路机施工前，通常是通过流动定位站采集工作区域边界信息，再在区域内提前标注区域内障碍物信息；或是通过在压路机车身装载雷达等测障装置，在压路机行驶过程中探测车身前方障碍物，再执行避障操作。但上述方法及目前研究大多集中在提前探测障碍物位置信息和单一传感器上，只关注车身前后端的障碍物检测，忽视了车身两侧的障碍物感知，且只检测障碍物的相对距离，并没有障碍物的具体信息；或者只是在行驶方向上（起始端
‑
终止端）考虑了安全距离，并没有考虑相邻碾压条带和车身两侧，缺少直观的障碍物显示信息，并未形成施工现场的3D数字孪生系统，不利于工作人员在远程监控室内查看无人驾驶压路机的实时工作情况。

技术实现思路

[0003]针对现有技术中的不足之处，本专利技术拟解决的技术问题是，提供一种双模态特征融合的无人驾驶压路机避障方法及系统。该避障方法使用双目相机和毫米波雷达联合工作，能根据障碍物种类确定属性类别，根据检测到压路机实时速度来决定所设第一、第二安全范围，避免了单一设定安全范围造成停车不及时的安全隐患和驻车过慢造成的时间浪费。该避障系统使用双目相机和毫米波雷达联合工作，实现车身360
°
的障碍物检测，通过目标识别算法可以检测障碍物的种类信息，并能通过数字孪生技术构建虚拟施工现场，能直接观察施工现场进度及其障碍物情况。
[0004]本专利技术解决所述技术问题采用的技术方案是：第一方面，本专利技术提供一种双模态特征融合的无人驾驶压路机避障方法，设置第一安全范围和第二安全范围，其特征在于，第二安全范围小于第一安全范围，在无人驾驶压路机车身前后左右均安装双目相机和毫米波雷达用于避障，两个安全范围为根据不同车速可控可调的变量；无人驾驶压路机按照规划路径开始在待施工区域工作，工作流程是：当无人驾驶压路机行驶工作时，利用毫米波雷达检测无人驾驶压路机周围是否存在障碍物，若在第一安全范围内未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；若在第一安全范围内检测到障碍物时，通过无人驾驶压路机上安装的双目相机采集得到障碍物图片，通过目标识别算法判断障碍物种类，再利用判别模块确认障碍物的属性类别，并通过毫米波雷达再次确定障碍物当前距离；若识别为固定障碍物，记录当前障碍物位置、种类与属性类别，判断是否位于第二安全范围内；若识别为移动障碍物，无人驾驶
压路机发出警报警告使移动障碍物远离无人驾驶压路机，此时无人驾驶压路机不停止工作，继续行驶；在无人驾驶压路机继续行驶过程中，利用毫米波雷达实时检测无人驾驶压路机周围在第二安全范围内是否存在障碍物，若在第二安全范围内仍没有检测到障碍物，无人驾驶压路机继续正常行驶；若在第二安全范围内检测到障碍物，控制无人驾驶压路机停止行驶；所述判别模块的构建过程是：构建常见障碍物数据集，标注常见障碍物属性类别标签为固定障碍物和移动障碍物，按照障碍物种类的名称将障碍物分成移动障碍物词语集合和固定物障碍物词语集合，根据目标识别算法识别出的障碍物类别，确定其所属的词语集合，进而确定该障碍物的属性类别。
[0005]所述第一安全范围呈圆形，第二安全范围呈矩形；安全范围的设置随无人驾驶压路机速度实时变更，因此，安全范围并不是一个固定值，是针对于不同车速可控可调的变量，以无人驾驶压路机为中心，第一安全范围的长度设置为圆形的半径长度，第一安全范围长度计算公式为，式中：为第一安全范围长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；第二安全范围以无人驾驶压路机为中心，设置范围为矩形，其中矩形前后两边之间的距离称为第二安全范围前后长度计算公式为，式中：为第二安全范围前后长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；矩形左右两边之间的距离为第二安全范围左右长度计算公式为，式中：为第二安全范围左右长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h。
[0006]所述无人驾驶压路机的规划路径的过程是：根据现有工程数据坐标或者流动定位站确定工作区域边界坐标，确定无人驾驶压路机工作边界，选取工作边界内区域为待施工区域；建立相对坐标系，将待施工区域四角坐标转换为相对坐标系坐标，确定工作区域左下边界角为原点，以工作区域一长边作为Y轴正方向，一短边作为X轴正方向；选取工作区域长边为基准划分各碾压条带，待施工区域划分变道区和直行区，直行区碾压条带宽度为无人
驾驶压路机轮宽，变道区长度根据无人驾驶压路机实际转弯半径划定；所在工作区域中，可以有一台压路机工作或者有多台压路机共同工作；无人驾驶压路机开始从第一碾压条带起始点开始行驶工作直行至第一碾压条带终止点，到达终止点后倒车至起始点，视为无人驾驶压路机在此碾压条带完成一次碾压；无人驾驶压路机在此条带完成多次碾压工作后，回到起始点执行变道操作，具体为：以起始点为起点，改变方向以第二碾压条带中线为目标行驶，到达第二碾压条带后，方向盘回正，倒车至第二碾压条带起始点，视为变道完成；无人驾驶压路机在当前碾压条带工作完成后变道至下一碾压条带，仍重复上述直行或变道操作。
[0007]所述目标识别算法为YOLO算法，也可以是R
‑
CNN算法、Faster R
‑
CNN算法、SSD算法等。
[0008]第二方面，本专利技术提供一种双模态特征融合的无人驾驶压路机避障系统，包括高精度定位模块、图像采集及测距模块、无线通讯模块、控制模块、处理模块；高精度定位模块、图像采集及测距模块的采集的信息均传输给处理模块，处理模块通过无线通讯模块与远程控制端双向通讯；同时处理模块与控制模块的输入端连接；高精度定位模块用于采集无人驾驶压路机实时位置信息，安装于无人驾驶压路机车顶中央；图像采集及测距模块用于采集无人驾驶压路机车身360
°
内施工环境内障碍物信息和距离，包括双目相机和毫米波雷达，安装在无人驾驶压路机前轮车架、驾驶室两侧和后车架上；无线通讯模块用于发送数据和图像给远程监控端，固定于无人驾驶压路机车顶；控制模块通过直接接入或者改装无人驾驶压路机的方向盘、速度档杆和启动开关，控制无人驾驶压路机的转向、速度和启停；处理模块接收来自高精度定位模块采集的无人驾驶压路机定位数据、图像采集及测距模块采集的障碍物信息数据，对采集数据进行以下处理：对采集的无人驾驶压路机定位数据实时更新；对采集的障碍物定位信息进行跟踪标注，对采集的图像信息通过YOLO算法识别出障碍物种类并进行分类标注；所述处理模块包括图像识别单元、图像融合单元和决策单元；图像识别单元内加载有路面常见障碍物目标识别模型，用于检测采集的图片内障碍物信息；无人驾驶压路机在工作场地行驶时，图像识别单元通过接收四个双目相机采集的图片识别障碍物类别并实时跟踪障碍物位置；图像融合单元用于将无人驾驶压路机四个方向的图片融合为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双模态特征融合的无人驾驶压路机避障方法，设置第一安全范围和第二安全范围，其特征在于，第二安全范围小于第一安全范围，在无人驾驶压路机车身前后左右均安装双目相机和毫米波雷达用于避障，两个安全范围为根据不同车速可控可调的变量；无人驾驶压路机按照规划路径开始在待施工区域工作，工作流程是：当无人驾驶压路机行驶工作时，利用毫米波雷达检测无人驾驶压路机周围是否存在障碍物，若在第一安全范围内未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；若在第一安全范围内检测到障碍物时，通过无人驾驶压路机上安装的双目相机采集得到障碍物图片，通过目标识别算法判断障碍物种类，再利用判别模块确认障碍物的属性类别，并通过毫米波雷达再次确定障碍物当前距离；若识别为固定障碍物，记录当前障碍物位置、种类与属性类别，判断是否位于第二安全范围内；若识别为移动障碍物，无人驾驶压路机发出警报警告使移动障碍物远离无人驾驶压路机，此时无人驾驶压路机不停止工作，继续行驶；在无人驾驶压路机继续行驶过程中，利用毫米波雷达实时检测无人驾驶压路机周围在第二安全范围内是否存在障碍物，若在第二安全范围内仍没有检测到障碍物，无人驾驶压路机继续正常行驶；若在第二安全范围内检测到障碍物，控制无人驾驶压路机停止行驶；所述判别模块的构建过程是：构建常见障碍物数据集，标注常见障碍物属性类别标签为固定障碍物和移动障碍物，按照障碍物种类的名称将障碍物分成移动障碍物词语集合和固定物障碍物词语集合，根据目标识别算法识别出的障碍物类别，确定其所属的词语集合，进而确定该障碍物的属性类别。2.根据权利要求1所述的双模态特征融合的无人驾驶压路机避障方法，其特征在于，所述第一安全范围呈圆形，第二安全范围呈矩形；安全范围的设置随无人驾驶压路机速度实时变更，以无人驾驶压路机为中心，第一安全范围的长度设置为圆形的半径长度，第一安全范围长度计算公式为，式中：为第一安全范围长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；第二安全范围以无人驾驶压路机为中心，设置范围为矩形，其中矩形前后两边之间的距离称为第二安全范围前后长度计算公式为，式中：为第二安全范围前后长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；矩形左右两边之间的距离为第二安全范围左右长度计算公式为
，式中：为第二安全范围左右长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h。3.根据权利要求1所述的双模态特征融合的无人驾驶压路机避障方法，其特征在于，所述无人驾驶压路机的规划路径的过程是：根据现有工程数据坐标或者流动定位站确定工作区域边界坐标，确定无人驾驶压路机工作边界，选取工作边界内区域为待施工区域；建立相对坐标系，将待施工区域四角坐标转换为相对坐标系坐标，确定工作区域左下边界角为原点，以工作区域一长边作为Y轴正方向，一短边作为X轴正方向；选取工作区域长边为基准划分各碾压条带，待施工区域划分变道区和直行区，直行区碾压条带宽度为无人驾驶压路机轮宽，变道区长度根据无人驾驶压路机实际转弯半径划定；所在工作区域中，有一台压路机工作或者有多台压路机共同工作；无人驾驶压路机开始从第一碾压条带起始点开始行驶工作直行至第一碾压条带终止点，到达终止点后倒车至起始点，视为无人驾驶压路机在此碾压条带完成一次碾压；无人驾驶压路机在此条带完成多次碾压工作后，回到起始点执行变道操作，具体为：以起始点为起点，改变方向以第二碾压条带中线为目标行驶，到达第二碾压条带后，方向盘回正，倒车至第二碾压条带起始点，视为变道完成；无人驾驶压路机在当前碾压条带工作完成后变道至下一碾压条带，仍重复上述直行或变道操作。4.根据权利要求1所述的双模态特征融合的无人驾驶压路机避障方法，其特征在于，所述目标识别算法为YOLO算法、R
‑
CNN算法、Faster R
‑
CNN算法或SSD算法。5.一种双模态特征融合的无人驾驶压路机避障系统，包括高精度定位模块、图像采集及测距模块、无线通讯模块、控制模块、处理模块；高精度定位模块、图像采集及测距模块的采集的信息均传输给处理模块，处理模块通过无线通讯模块与远程控制端双向通讯；同时处理模块与控制模块的输入端连接；其特征在于：高精度定位模块用于采集无人驾驶压路机实时位置信息，安装于无人驾驶压路机车顶中央；图像采集及测距模块用于采集无人驾驶压路机车身360
°
内施工环境内障碍物信息和距离，包括双目相机和毫米波雷达，安装在无人驾驶压路机前轮车架、驾驶室两侧和后车架上；无线通讯模块用于发送数据和图像给远程监控端，固定于无人驾驶压路机车顶；控制模块通过直接接入或者改装无人驾驶压路机的方向盘、速度档杆和启动开关，控制无人驾驶压路机的转向、速度和启停；处理模块接收来自高精度定位模块采集的无人驾驶压路机定...

【专利技术属性】
技术研发人员：王雪菲，王泽昆，李家乐，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：