道路划线机器人控制方法及系统技术方案

本发明专利技术公开了道路划线机器人控制方法及系统，采集划线机器人的前方道路图像；对采集的前方道路图像进行预处理；对预处理后的前方道路图像进行图像分割处理；对分割后的图像，采用直线检测算法对道路边缘进行筛选；对筛选的道路边缘，采用双目测距算法，计算划线机器人中心点与道路边缘之间的最短距离，根据所计算的最短距离，控制划线机器人的移动方向，划线机器人移动后，开始道路划线作业，同时，保证划线机器人中心点与道路边缘之间的最短距离始终等于设定数值；划线机器人的高清摄像头，实时采集划线后的图像，并对划线后的图像进行识别，识别图像中的划线，判断划线机器人是否发生偏移，如果是，则控制划线机器人的移动方向。向。向。

【技术实现步骤摘要】
道路划线机器人控制方法及系统


[0001]专利技术涉及道路划线
，特别是涉及道路划线机器人控制方法及系统。
[0002]本

技术介绍

[0003]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0004]相较于公路建设的飞速发展，道路划线设备的发展存在一定的滞后性。目前，道路划线设备仍处于一个半自动化阶段，例如手扶式，自行式、车载式等道路划线设备。由于传统道路划线设备控制系统设计不完善，对施工人员的划线技术有较高的要求。在划线机作业时，需要施工人员时刻调整划线机的喷涂位置与行驶速度，存在较大的主观因素，因此会出现道路标线走偏、标线不整齐、宽度不一致、厚度不均匀等现象(尤其在弯曲路段)，经常需要施工人员进行返工，工作效率低，劳动强度大。随着公路里程的迅速增加以及劳动力成本的不断提高，传统道路划线设备已逐渐无法满足现阶段公路建设高速发展要求。
[0005]鉴于以上情况，高精度、高效率、智能化的道路划线设备已成为市场的必然需求。随着全球进入创新密集与产业变革时代，信息技术向工程领域加速渗透，将引领筑路机械设备向信息化、智能化、无人化方向发展，道路划线机作为筑路机械的主要机种之一，十分有必要在信息化、智能化、无人化方向上对其进行深入研究。本实施例将机器视觉技术与智能控制技术引入道路划线系统中，开发一种图像系统，用于提高道路划线一体机的准确性和精度。图像系统能够自动获取图像数据，能够根据路面信息自动提取道路基准线，采用智能控制技术作为道路划线机动力驱动策略，增加多个摄像头作为图像反馈及时调节机器自身，能够根据道路基准线自动规划可行路径，自动调整行驶方向与行驶速度。
[0006]国内外研究主要基于传统图像算法Hough直线检测，另外通过其他的手段来提高算法检测道路边沿的能力，能够具备识别道路边沿的能力，但是以上都是在非常理想的直线道路或者弯路上进行检测，但是实际路面具有更多的因素影响。
[0007]传统算法的划线机图像系统的缺点包括：
[0008](1)分割准确率低：传统基于机器视觉导航的无人划线车是基于人工先画水线再进行划线，自主化远远不够。
[0009](2)处理速度慢：传统图像算法通常需要大量的计算和处理时间，因此，处理速度较慢，难以满足实时图像处理的需求。
[0010](3)缺乏普适性，智能化低：传统图像算法是基于已有的水线进行识别巡线，通常采用规则和模式匹配的方法进行分割，因此其适用范围有限，智能化水平低，难以应对变化多端、复杂的场景。
[0011]例如，利用图像阈值来进行分割道路的算法极容易被路边的影子所影响精度，传统算法智能化也相对较低，例如在实际的道路上可能有落叶、积水、垃圾等杂物的影响，传统算法不具备能够很好识别的能力。
[0012]专利技术人发现，现有技术存在以下技术缺陷：
[0013]第一，现有技术的分割准确率低、速度慢，无法很好地处理复杂图像；
[0014]第二，现有技术处理速度慢，不能满足实时图像处理的需求；
[0015]第三，现有技术的智能水平低，基于已有水线进行巡线划线，无法真正的实现自主划线。

技术实现思路

[0016]为了解决现有技术的不足，本专利技术提供了道路划线机器人控制方法及系统；相对于传统算法的图像系统，具有更高的性能和精度。
[0017]一方面，提供了道路划线机器人控制方法；
[0018]道路划线机器人控制方法，包括：
[0019]划线机器人的双目相机，采集划线机器人的前方道路图像；对采集的前方道路图像进行预处理；所述双目相机通过云台设置在划线机器人的前方；
[0020]对预处理后的前方道路图像进行图像分割处理；
[0021]对分割后的图像，采用直线检测算法对道路边缘进行筛选；
[0022]对筛选的道路边缘，采用双目测距算法，计算划线机器人中心点与道路边缘之间的最短距离，根据所计算的最短距离，控制划线机器人的移动方向，划线机器人移动后，开始道路划线作业，同时，保证划线机器人中心点与道路边缘之间的最短距离始终等于设定数值；
[0023]划线机器人的高清摄像头，实时采集划线后的图像，并对划线后的图像进行识别，识别图像中的划线，判断划线机器人是否发生偏移，如果否，则继续道路划线作业，如果是，则控制划线机器人的移动方向或者返回上一步；其中，高清摄像头设置在划线机器人的后方。
[0024]另一方面，提供了道路划线机器人控制系统；
[0025]道路划线机器人控制系统，包括：控制器，所述控制器分别与双目相机和高清摄像头连接；
[0026]划线机器人的双目相机，采集划线机器人的前方道路图像；控制器对采集的前方道路图像进行预处理；所述双目相机通过云台设置在划线机器人的前方；
[0027]控制器对预处理后的前方道路图像进行图像分割处理；
[0028]控制器对分割后的图像，采用直线检测算法对道路边缘进行筛选；
[0029]控制器对筛选的道路边缘，采用双目测距算法，计算划线机器人中心点与道路边缘之间的最短距离，根据所计算的最短距离，控制划线机器人的移动方向，划线机器人移动后，开始道路划线作业，同时，保证划线机器人中心点与道路边缘之间的最短距离始终等于设定数值；
[0030]划线机器人的高清摄像头，实时采集划线后的图像，控制器对划线后的图像进行识别，识别图像中的划线，判断划线机器人是否发生偏移，如果否，则继续道路划线作业，如果是，则控制划线机器人的移动方向或者返回上一步；其中，高清摄像头设置在划线机器人的后方。
[0031]上述技术方案中的一个技术方案具有如下优点或有益效果：
[0032]基于深度学习图像分割的划线机图像系统，相对于传统算法的图像系统，具有更
多的优点。
[0033]本系统相比对传统图像系统具有更高智能性，传统图像处理划线机方法基于已有水线进行划线，需要人工干预更多，本图像系统完全自主划线绘制车道，无需水线。
[0034]具有更高的处理速度，处理速度每秒34帧，比传统算法的速度更快，这意味着用户可以更快地完成图像处理的工作，提高了工作效率。
[0035]其次，精度miou0.9756，比传统算法更准确，意味着图像处理结果更加精细，对于一些需要高精度要求的应用场景更加适用。
[0036]并且具有更高的鲁棒性：可以有效处理噪声干扰或图像变形、不受遮挡和背景干扰的影响，在不同光照条件下保持稳定的分割结果。
[0037]最后，在采用双目测距算法SGBM时，误差在1
‑
2cm范围内，这可以相应地增加系统在物体检测和识别方面的准确性和稳定性，满足更多实际场景的使用需求。
[0038]本专利技术的解决方案是采用基于深度学习的图像分割算法来进行图像处理，能够显著提高图像分割和处理的准确率，且在处理速度方面也有明显的提升。同时，基于深度学习算法的特点，可以更好地处理复杂的图像。
[0039]本专利技术的解决方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.道路划线机器人控制方法，其特征是，包括：划线机器人的双目相机，采集划线机器人的前方道路图像；对采集的前方道路图像进行预处理；所述双目相机通过云台设置在划线机器人的前方；对预处理后的前方道路图像进行图像分割处理；对分割后的图像，采用直线检测算法对道路边缘进行筛选；对筛选的道路边缘，采用双目测距算法，计算划线机器人中心点与道路边缘之间的最短距离，根据所计算的最短距离，控制划线机器人的移动方向，划线机器人移动后，开始道路划线作业，同时，保证划线机器人中心点与道路边缘之间的最短距离始终等于设定数值；划线机器人的高清摄像头，实时采集划线后的图像，并对划线后的图像进行识别，识别图像中的划线，判断划线机器人是否发生偏移，如果否，则继续道路划线作业，如果是，则控制划线机器人的移动方向或者返回上一步；其中，高清摄像头设置在划线机器人的后方。2.如权利要求1所述的道路划线机器人控制方法，其特征是，所述对采集的前方道路图像进行预处理，包括：首先制作标定板，标定板是黑白的棋盘像素图；对标定板进行不同角度和不同位置的图像拍摄；将拍摄获取的图像，去除总体平均误差大于设定阈值的图像，将得到的参数矩阵进行转置；实际标定阶段，使用参数矩阵的参数和rectifyImag函数对图像进行矫正。3.如权利要求1所述的道路划线机器人控制方法，其特征是，对预处理后的前方道路图像进行图像分割处理，具体包括：对神经网络模型进行训练，对训练后的神经网络模型进行部署，对部署后的神经网络模型进行优化，采用优化后的神经网络模型，对预处理后的前方道路图像进行图像分割处理。4.如权利要求3所述的道路划线机器人控制方法，其特征是，所述对神经网络模型进行训练，训练过程包括：构建训练集，所述训练集为已知分类标签的图像；将训练集输入到神经网络模型中，对模型进行训练，训练过程中采用带有权重衰减的随机梯度下降法进行优化，得到训练后的神经网络模型。5.如权利要求3所述的道路划线机器人控制方法，其特征是，所述对部署后的神经网络模型进行优化，具体包括：将部署后的神经网络模型转换为ONNX格式；使用TensorRT提供的ONNX转换器，将ONNX格式的模型转换为TensorRT引擎；使用TensorRT提供的API创建TensorRT推理引擎，并将转换后的TensorRT引擎加载到推理引擎中；输入图像并将图像传递给TensorRT推理引擎；使用TensorRT推理引擎，对输入图像进行推理，得到输出结果，再推理的过程中，对部署后的神经网络模型进行优化。6.如权利要求1所述的道路划线机器人控制方法，其特征是，对分割后的图像，采用直线检测算法对道路边缘进行筛选，具体包括：将分割得到的图像，使用边缘检测算法对其...

【专利技术属性】
技术研发人员：张亮，王超，王丙涛，
申请(专利权)人：山东大学，
类型：发明
国别省市：