一种融合激光雷达与深度相机的机器人无人划线方法技术

本发明专利技术涉及一种融合激光雷达与深度相机的机器人无人划线方法，通过前置深度相机获取道路信息的深度图像，对深度图像进行处理后，通过像素比例尺最终得到边界坐标及目前位置所对应的横向偏差及转角误差；同时后置深度相机则对道路标线进行检测，通过对深度图像进行解析，判断其划线长度，当达到预定长度时终止划线工作，确保划线精准。激光雷达通过对道路表面进行三维扫描进而进行建模，最终形成点云图像。本发明专利技术通过对路面信息进行采用粒子群算法进行训练，针对不同路况下的驱动轮转速进行控制，从而针对不同路面控制不同轮子转速比，确保整体无人划线机器人的稳定直行。确保整体无人划线机器人的稳定直行。确保整体无人划线机器人的稳定直行。

【技术实现步骤摘要】
一种融合激光雷达与深度相机的机器人无人划线方法


[0001]本专利技术属于高压辅助电源应用
，尤其是一种融合激光雷达与深度相机的机器人无人划线方法。

技术介绍

[0002]目前已有的无人道路划线机器人中所主要采用的CCD目标识别技术、GPS定位技术、超声波传感技术。其中CCD目标识别是一种被动式测量方法，主要以机器视觉为基础，通过采用图像传感器获取道路的二维图像信息，并对二维图像信息进行高层数据处理从而预测并计算出第三维度的深度信息，其计算量十分庞大，并在划线机器人运动中，被动测距方式将会产生滞后性。而GPS定位技术则依靠卫星定位系统对划线机器人的位置信息进行判断。然而GPS卫星定位无法满足划线精度要求，同时GPS无法进行高度信息的检测，在桥梁，高速公路等地点的绘制时会产生较大误差。而超声波传感技术相较于前两种检测，其采用20kHz以上的短波长定向散射波进行检测，然而其角度检测分辨率较低，最大探测距离较短，仍然拥有着局限性。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提出一种融合激光雷达与深度相机的机器人无人划线方法，采用激光雷达的三维信息与双目视觉深度相机的二维信息进行耦合和修正，进而实现对于划线道路的检测，建模及路线规划。本专利技术大大提升目前无人划线机器人的划线精度，从而减少目前道路划线所耗费的人力物力成本，实现公路基建领域的智能化目标。
[0004]本专利技术解决其技术问题是采取以下技术方案实现的：
[0005]一种融合激光雷达与深度相机的机器人无人划线方法，包括道路路况检测方法和划线辨别纠偏方法，其中道路路况检测方法包括以下步骤：
[0006]步骤1.1、初始化无人划线机器人的激光雷达和前置深度相机；
[0007]步骤1.2、根据激光雷达获取三维点云图像，根据前置深度相机获取二维深度图像；
[0008]步骤1.3、判断是否能够分别根据三维点云图像和深度图像识别道路边缘，若能够识别道路边缘，则进行步骤1.4，否则返回步骤1.2；
[0009]步骤1.4、根据三维点云图像计算道路Z轴方向距离信息，根据二维深度图像计算道路X轴和Y轴方向位置信息；
[0010]步骤1.5、根据计算得到的道路Z轴方向距离信息和道路X轴和Y轴方向位置信息重构道路三维路况；
[0011]步骤1.6、根据道路三维路况规划设备行进的路线；
[0012]步骤1.7、将行进的路线转化为报文格式发送至控制设备转向与驱动系统，并且等待下一帧的获取三维点云图像信号和获取二维深度图像的信号，返回步骤1.2。
[0013]而且，所述步骤1.4中根据二维深度图像计算道路X轴和Y轴方向位置信息包括以下步骤：
[0014]步骤1.4.1、图像预处理；
[0015]步骤1.4.2、预处理图像迭代Hough变换；
[0016]步骤1.4.3、检测道路变换；
[0017]步骤1.4.4、获取像素点坐标；
[0018]步骤1.4.5、标定实际坐标。
[0019]而且，所述步骤1.4中根据三维点云图像计算道路Z轴方向距离信息包括以下步骤：
[0020]步骤1.4.6、在深度图像的每个单元格中提取相应的角度α和β，通过激光雷达校准数据的垂直光束倾角最大值和最小值来提取二维深度图像的每个单元格中应的角度α和β，并通过基于二维深度图像的高度值创建值的线性空间；
[0021]步骤1.4.7、提取顶部激光雷达传感器的外部校准矩阵，经过外部校准矩阵校正方位之后的激光雷达数据将计算点云各点的（X,Y,Z）坐标；
[0022]步骤1.4.8、将传感器坐标系变换为划线机器人的车辆坐标系，进而获取了路况方向Z轴信息，同时根据不同路况进行车辆行进路线的规划，利用现有开源控制训练集进行实现。
[0023]而且，所述步骤1.6的具体实现方法为：在图像中利用道路基准线的特征像素点聚类算法对像素点进行搜寻和检测，并对检测的像素点进行聚类点的感知编组，提取道路基准线并基于Hough直线变化算法对道路基准线进行检测从而确定基准线的偏移方向和准确的偏移角度，通过利用Hough变换算法对已获取像素点坐标进行处理实现对道路基准线的拟合，并对基准线的偏转角度进行判断以实现道路画线机器人自动控制，设计道路画线机器人的硬、软件控制系统并通过单片机接收信号，以PWM脉冲调制的方式控制道路画线机器人的驱动电机、转动电机实现道路画线机器人的行进和精准转向，将相关的数据、参数、位置坐标等进行采集和存储，同时对误差等进行监测。
[0024]而且，所述划线辨别纠偏方法包括以下步骤：
[0025]步骤2.1、初始化后置深度相机；
[0026]步骤2.2、根据后置深度相机获取二维深度图像；
[0027]步骤2.3、根据二维深度图像检测划线长度与直线度信息；
[0028]步骤2.4、判断划线长度和设定阈值长度的关系，若划线长度大于或等于设定阈值长度，则进行步骤2.5，否则返回步骤2.3；判断直线度和设定阈值的容差，若直线度大于或等于设定阈值的容差，则进行步骤2.5，否则返回步骤2.3；
[0029]步骤2.5、将生成制驱动电机和转向电机的PWM信号转化为报文格式，
[0030]步骤2.6、根据报文格式的信号控制给料口开关并且控制涂料方向传向修正，并且等待下一帧的获取二维深度图像的信号，返回步骤2.1。
[0031]而且，所述步骤2.3中根据二维深度图像检测划线长度与直线度信息包括以下步骤：
[0032]步骤2.3.1、图像预处理；
[0033]步骤2.3.2、预处理图像迭代Hough变换；
[0034]步骤2.3.3、检测划线轮廓；
[0035]步骤2.3.4、获取像素点坐标；
[0036]步骤2.3.5、标定实际坐标。
[0037]本专利技术的优点和积极效果是：
[0038]本专利技术通过前置深度相机获取道路信息的深度图像，通过采用图像预处理及二值化处理，采用双阈值边缘检测，迭代Hough算法识别道路边缘信息，通过搜索对应数组位置计算得到最佳边界像素坐标，并通过像素比例尺最终得到边界坐标及目前位置所对应的横向偏差及转角误差。而后置深度相机则对道路标线进行检测，通过对深度图像进行解析，能够判断其划线长度，当达到预定长度时终止划线工作，确保划线精准。激光雷达通过对道路表面进行三维扫描，能够对路面的表面形貌，坑洼及曲度进行精细建模，最终形成点云图像。通过对路面信息进行采用粒子群算法进行训练，针对不同路况下的驱动轮转速进行控制，从而针对不同路面控制不同轮子转速比，确保整体无人划线机器人的稳定直行。最终通过将划线机器人的转向轮、启制动轮及进给口开合等硬件与软件算法进行结合，实现无人自动驾驶作业模式的自适应响应平台。本专利技术实现对于划线道路的检测，建模及路线规划。大大提升目前无人划线机器人的划线精度，从而减少目前道路划线所耗费的人力物力成本，实现公路基建领域的智能化目标。
...

【技术保护点】

【技术特征摘要】
1.一种融合激光雷达与深度相机的机器人无人划线方法，其特征在于：包括道路路况检测方法和划线辨别纠偏方法，其中道路路况检测方法包括以下步骤：步骤1.1、初始化无人划线机器人的激光雷达和前置深度相机；步骤1.2、根据激光雷达获取三维点云图像，根据前置深度相机获取二维深度图像；步骤1.3、判断是否能够分别根据三维点云图像和深度图像识别道路边缘，若能够识别道路边缘，则进行步骤1.4，否则返回步骤1.2；步骤1.4、根据三维点云图像计算道路Z轴方向距离信息，根据二维深度图像计算道路X轴和Y轴方向位置信息；步骤1.5、根据计算得到的道路Z轴方向距离信息和道路X轴和Y轴方向位置信息重构道路三维路况；步骤1.6、根据道路三维路况规划设备行进的路线；步骤1.7、将行进的路线转化为报文格式发送至控制设备转向与驱动系统，并且等待下一帧的获取三维点云图像信号和获取二维深度图像的信号，返回步骤1.2。2.根据权利要求1所述的一种融合激光雷达与深度相机的机器人无人划线方法，其特征在于：所述步骤1.4中根据二维深度图像计算道路X轴和Y轴方向位置信息包括以下步骤：步骤1.4.1、图像预处理；步骤1.4.2、预处理图像迭代Hough变换；步骤1.4.3、检测道路变换；步骤1.4.4、获取像素点坐标；步骤1.4.5、标定实际坐标。3.根据权利要求1所述的一种融合激光雷达与深度相机的机器人无人划线方法，其特征在于：所述步骤1.4中根据三维点云图像计算道路Z轴方向距离信息包括以下步骤：步骤1.4.6、在深度图像的每个单元格中提取相应的角度α和β，通过激光雷达校准数据的垂直光束倾角最大值和最小值来提取二维深度图像的每个单元格中应的角度α和β，并通过基于二维深度图像的高度值创建值的线性空间；步骤1.4.7、提取顶部激光雷达传感器的外部校准矩阵，经过外部校准矩阵校正方位之后的激光雷达数据将计算点云各点的（X,Y,Z）坐标；步骤1.4.8、将传感器坐标系变换为划线机器人的车辆坐标系，进而获取了路况方向Z轴信息，同时根据不同路况进行车辆行进路线的...

【专利技术属性】
技术研发人员：曲正，兰旭，潘大勇，姚金立，于士伟，刘天宇，姚开华，
申请(专利权)人：中铁建大桥工程局集团电气化工程有限公司，
类型：发明
国别省市：